- 博客(122)
- 资源 (8)
- 收藏
- 关注
RSS订阅原创 Python collections模块之defaultdict()详解
为了避免这种情况的发生，可以使用collections类中的defaultdict()方法来为字典提供默认值。defaultdict是内置数据类型dict的一个子类，基本功能与dict一样，只是重写了一个方法missing(key)和增加了一个可写的对象变量default_factory。类似于list的容器，可以快速的在队列头部和尾部添加、删除元素。dict的子类，可以调用提供默认值的函数。dict的子类，可以记住元素的添加顺序。dict的子类，计算可hash的对象。默认字典（defaultdict）
2024-07-22 00:12:13
73
转载 特征图输出类型 Tensor或Tuple
最近在修改网络模型时，发现有些特征图输出的类型是Tensor，有的特征图输出的类型却是Tuple，一开始不知到为什么是这样的，苦恼了半天，后来上网查询后发现了基本的规律，本文分享一下。
2024-07-08 20:14:47
38
原创 科大讯飞-群聊对话角色要素提取：lora微调范式
{‘instruction’: ‘假设你是一个智能交互助手，基于用户的输入文本，解析其中语义，抽取关键信息，以json格式生成结构化的语义内容。这里的验证数据我们以csv文件存储，有input和target两列，由于我们没有这些数据的真实标签，我这里将target列设置为’-'。好了我们来说说prompt。通过总结后的数据一方面节约了微调的运算资源，一方面也让数据被清洗后更容易被模型理解，达到更好的抽取效果。代码比较鲁棒的，使用try, except，的方式，避免了遇到错误后，后面的样例无法运行的情况。
2024-07-07 23:22:06
736
原创 科大讯飞-群聊对话角色要素提取：不微调范式模拟官网评分
比赛说明：主要参考datawhale夏令营活动：零基础入门大模型技术竞赛。连接：https://datawhaler.feishu.cn/wiki/VIy8ws47ii2N79kOt9zcXnbXnuS比赛网址：说明：- 1，主要适用于不微调的范式。- 2，针对每次在修改prompt，或者COT之后，想要查看性能如何时，都要提交到官网等待。但是受限于官网每个人每天只能提交3次，无法得到更多的反馈。
2024-07-07 22:01:08
714
原创 PEFT：参数高效微调及hg工具
参数高效微调（PEFT）是自然语言处理（NLP）中使用的一种技术，用于提高预训练语言模型在特定下游任务上的性能。它涉及重用预训练模型的参数并在较小的数据集上对其进行微调，与从头开始训练整个模型相比，这可以节省计算资源和时间。PEFT 通过冻结预训练模型的某些层并仅微调特定于下游任务的最后几层来实现这种效率。这样，模型就可以以更少的计算开销和更少的标记示例来适应新任务。尽管 PEFT 是一个相对新颖的概念，但自从引入迁移学习以来，更新最后一层模型已经在计算机视觉领域得到实践。
2024-06-17 23:20:01
869
原创 基于llama3-8B-instruct的调用部署以及lora微调
LoraConfig这个类中可以设置很多参数，但主要的参数没多少，简单讲一讲，感兴趣的同学可以直接看源码。
2024-06-17 23:12:53
1160
4
原创 分类模型部署-ONNX
之后，模型的结构和参数会被转换成一种只描述网络结构的中间表示，一些针对网络结构的优化会在中间表示上进行。最后，用面向硬件的高性能编程框架（如 CUDA，OpenCL）编写，能高效执行深度学习网络中算子的推理引擎会把中间表示转换成特定的文件格式，并在对应硬件平台上高效运行模型。这一条流水线解决了模型部署中的两大问题：使用对接深度学习框架和推理引擎的中间表示，开发者不必担心如何在新环境中运行各个复杂的框架；类似地，对于深度学习模型来说，模型部署指让训练好的模型在特定环境中运行的过程。
2024-06-16 22:40:41
811
原创 模型部署-什么是模型部署？
但最好还是多点开花并且可以形成自己的一套端到端的方法论，除了明确模型优化部署的任务和上下游关系，更要从业务角度去推进优化的工作，即做到一种全栈式的发展，随便给你一个业务或者产品形态，可以快速的针对特定的硬件或者算法模型找出适配的一套最佳优化方案（人力成本，效率迭代等），这才是做这个方向的最终目的，这也是大多数公司比较稀缺的。如果仅仅停留在关注部署或者优化的某一个技术栈，而不是用端到端业务全流程的角度看问题，最终可能就是成为工作比较枯燥的工具人，技能也不会得到很好的锻炼。从训练框架得到模型后，
2024-06-16 10:09:24
987
原创 数据结构刷题-链表
1，双指针比如翻转链表，环形链表，删除倒数第n个节点；相交链表；链表题目是把双指针发挥利用到极致的题目，因为只能一步一步遍历，没有办法。2，虚拟头结点；合并有序链表（虚拟头+双指针）链表的一大问题就是操作当前节点必须要找前一个节点才能操作。这就造成了，头结点的尴尬，因为头结点没有前一个节点了。每次对应头结点的情况都要单独处理，所以使用虚拟头结点的技巧，就可以解决这个问题。3，排序问题：排序算法其实排序链表，基本上就算是数组排序的变种吧，感觉差别不是很大。
2024-06-11 23:04:55
1025
原创 大模型微调调研
经典的Fine tuning就是 算是叫做继续训练？经典的Fine tuning方法包括将预训练模型与少量特定任务数据一起继续训练。在这个过程中，预训练模型的权重被更新，以更好地适应任务。所需的Fine-tuning量取决于预训练语料库和任务特定语料库之间的相似性。如果两者相似，可能只需要少量的Fine tuning。如果两者不相似，则可能需要更多的Fine tuning。与Prompt不同，Instruction通常是一种更详细的文本，用于指导模型执行特定操作或完成任务。
2024-05-21 18:08:41
821
原创 基于百度千帆的大模型应用：英文助教Alex
有眼睛，能够识别手写字体，输入。直接就能发布，并且生成链接，可以随时访问。你可以进行连续的询问，这就是接入百度搜索之后的优势。可以通过外部的知识库，补全对于单词的理解。当用户让应用出题后，模型会根据任务出题，并不给出答案，在用户作答后，再进行评判点评。需要某种偏驱动组件的话，才能让大模型调用组件，跟你进行交流。0，根据学生的情况，针对性的为学生提供英语学习建议。这里通过使用已经录好的语句，上传上去进行识别。根据单词的意思，生成英文短文，并给出中文翻译。语音输入的分析的组件，识别的性能不是很好。
2024-05-19 20:38:02
1243
原创 Prompt Engineering ,Fine-tuning , RAG ？
Q1：假如我想搞一个自己的知识库助手，选择那种方式比较合适？A1： 以我目前的了解来看，假如只是在微调和RAG里面选择。我会主要看个人需求。RAG适用于知识需要快速更新的领域，对实时性要求不是特别高的应用场景。微调适合的领域为数据量较小但质量高的领域。对模型效果有较高要求，且可以承担相应计算资源消耗的场景。领域知识比较独特，需要模型深入学习的场景。所以，假如你想要做一个简单的智能知识助手，不要求精准度，而且以个人使用为主，那我建议你可以使用rag技术。
2024-05-14 00:44:36
1073
转载 微调 or RAG ？
Q1：假如我想搞一个自己的知识库助手，选择那种方式比较合适？A1： 以我目前的了解来看，假如只是在微调和RAG里面选择。我会主要看个人需求。RAG适用于知识需要快速更新的领域，对实时性要求不是特别高的应用场景。微调适合的领域为数据量较小但质量高的领域。对模型效果有较高要求，且可以承担相应计算资源消耗的场景。领域知识比较独特，需要模型深入学习的场景。所以，假如你想要做一个简单的智能知识助手，不要求精准度，而且以个人使用为主，那我建议你可以使用rag技术。
2024-05-14 00:25:44
107
原创 python字典：增删改查复制
字典(Dictionary)是Python提供的一种常用的数据结构，由键（key）和值（value）成对组成，键和值中间以冒号：隔开，项之间用逗号隔开，整个字典由大括号{}括起来。格式如下：空字典的定义：字典也被称作关联数组或哈希表。下面是几种常见的字典创建方式：字典由 dict 类代表，可以使用**dir(dict)**来查看该类包含哪些方法，输入命令，可以看到如下输出结果：字典的方法和属性有很多种，这里我们重点介绍以下11种方法：del dict[key]使用del删除键值对,先要找到dic
2024-04-11 10:48:09
911
1
原创 chatgpt新版本api的调用
新版本就是把ChatCompletion变成了chat.completions。由于我的api已经使用完了，所以可以某宝上买一个api_key，直接使用；但是现在api的调用改版了，需要使用新的调用方式，也很简单。
2024-03-02 10:21:56
3233
原创 Uncertainty-Aware Mean Teacher（UA-MT）
本文提出了一种新的基于不确定性的半监督学习框架(UA-MT)，通过额外利用未标记的数据从3D MR图像中分割左心房。具体地说，本文建立了一个教师模型和一个学生模型，学生模型通过最小化标注数据上的分割监督损失和所有输入数据上的与教师模型预测输出的一致性损失进行优化。如果没有未标记输入中的注释，教师模型的预测目标可能不可靠且有噪声。：在估计不确定性 U 的指导下，我们过滤掉相对不可靠**（高不确定性），整个体积** U 的不确定性**是 {u} ∈ RH×W ×D。过滤掉高不确定性的，也就是熵大于某个值的。
2024-02-25 11:01:58
1040
原创 Mean Teacher的调研与学习
Mean Teacher 是一种半监督学习方法，是在方法 Π-Model 和 Temporal Ensembling 之上做了一些改进。Π-Model 和 Temporal Ensembling 方法都是用了单个模型，而Mean Teacher 是用了两个模型。Teacher 的学习方法是参数进行动量更新。Student 则是普通的学习方式。
2024-02-25 10:55:26
1649
原创 四分位距IQR_ interquartile range
四分位距（interquartile range, IQR），又称四分差。是描述统计学中的一种方法，以确定。
2024-02-19 21:27:27
2290
原创 NIHSS评分:美国国立卫生研究院卒中量表
NIHSS:美国国立卫生研究院卒中量表（National Institute of Health stroke scale，NIHSS）是神经内科的常用量表，是卒中规范化管理的常用工具。NIHSS评分是疾病严重程度的量化指标，临床研究中常用做替代终点，根据NIHSS评分对患者进行分层，指导临床决策。NIHSS评分内容包括：意识水平（意识水平、意识水平提问、意识水平指令）、凝视、视野、面瘫、上肢运动、下肢运动、肢体共济运动、感觉、语言、构音障碍、忽视。评分范围为0~42分0~1分：正常或近乎正常；
2024-02-19 20:58:58
649
原创 02 使用jdk运行第一个java程序：HelloWorld
首先在CMD命令行里面，使用javac xxxx.java， 进行编译，其中会有报错；然后生成xxxx.class 文件，然后使用java xxxx.class 进行运行。
2024-02-03 22:31:47
509
原创 01-Java基础语法
变量就在程序中临时存储数据的容器。但是这个容器中只能存一个值。**注意: 定义变量名不能重复；可以更改，你前面定义了，后面可以修改：**数据类型 变量名 = 数据值；//1.定义byte类型的变量//数据类型 变量名 = 数据值;//2.定义short类型的变量//3.定义int类型的变量int c = 30;//4.定义long类型的变量//5.定义float类型的变量//6.定义double类型的变量//7.定义char类型的变量。
2024-02-03 22:30:58
797
原创 02 IntelliJ IDEA 下载安装及配置使用图文教程
结构分类：跟python的pycharm差不多；project（项目、工程）module（模块）package（包）class（类）淘宝、京东都属于一个个项目，IDEA中就是一个个的Project。在一个项目中，可以存放多个模块，不同的模块可以存放项目中不同的业务功能代码。论坛模块报名、咨询模块为了更好的管理代码，我们会把代码分别放在两个模块中存放。一个模块中又有很多的业务，以黑马程序员官方网站的论坛模块为例，至少包含了以下不同的业务。发帖评论。
2024-02-03 22:25:40
1312
原创 01 JDK的安装
使用的是64位Win10操作系统，上图中红色箭头的两项都可以选择，区别在于：上面一个是exe安装软件，下载下来之后运行软件可以安装JDK；打开exe文件之后，在该步骤中选择安装路径，注意：(1)安装路径需要在后面使用，尽量不要太繁琐(2)为了避免造成编码或识别问题，路径中。JDK 是整个Java的核心，包括了Java运行环境，Java工具和Java基础的类库。在控制台输入java -version并回车，如果JDK安装成功，则会显示当前JDK的版本信息。安装完成后，可以通过命令行来检测JDK安装是否成功。
2024-02-03 20:36:22
315
原创 目标检测任务的调研与概述
简单而言就是，在图像或者视频中，找到目标位置并进行分类。对于一张图片的理解，有三个主要的层次一是分类（Classification），即是将图像结构化为某一类别的信息，用事先确定好的类别(string)或实例ID来描述图片。这一任务是最简单、最基础的图像理解任务，也是深度学习模型最先取得突破和实现大规模应用的任务。其中，ImageNet是最权威的评测集，每年的ILSVRC催生了大量的优秀深度网络结构，为其他任务提供了基础。在应用领域，人脸、场景的识别等都可以归为分类任务。二是检测（Detection）。
2024-01-31 11:30:43
1110
原创 [pytorch] 定义自己的dataloader
一般将dataloader封装为一个类，这个类继承自 torch.utils.data.datasetclass LoadData(Dataset): # 注意父类的名称，不能写datasetpass需要注意的是dataset是模块名，而Dataset是类名，在python中模块名和类名是完全独立的命名空间，因此这里的父类需要写成 dataset.Dataset。__init__方法，主要用来定义数据的预处理__getitem__方法，返回数据的item和label。
2024-01-29 11:57:33
752
原创 基于pyradiomics影像组学特征提取
在这里，我们使用pyradiomics来提取影像组学特征。首先，我们先介绍pyradiomica工具包，然后我们进行特征的提取。PyRadiomics的官方文档:https://pyradiomics.readthedocs.io/en/latest/1.1.2,设置特征提取器，获得想要特征：通过自定义特征提取器，可以根据自己的需求来设置并提取特征。其实，需要设置两个方面：1，图像类型；2，所要提取的特征；3，提取器设置第一步：图像类型：首先，设置提取特征的图像类型，可以指定用于提取特征的图像类型。
2024-01-14 11:13:43
3129
2
原创 影像组学介绍
其实就是想把图像处理领域的知识点，应用到医学图像里面。当初影像组学方法是，现在人工智能方法也是。随着精准定量医学影像技术的快速发展、图像识别技术和数据算法的不断更新，医学图像大数据的挖掘和分析得以实现，极大程度扩展了医学图像的信息量。基于对图像信息进行纹理分析后能够得到高通量的特征的特点，受基因组学以及肿瘤异质性的启发，2012年荷兰学者Lambin在先前学者工作的基础上提出了**影像组学(Radiomics) **的概念[1]。
2024-01-13 12:12:47
1275
原创 相关性与P值
A1：统计学根据显著性检验方法所得到的P 值，一般以P ＜ 0.05 为有统计学差异， P＜0.01 为有显著统计学差异，P＜0.001为有极其显著的统计学差异。而如果“P>0.05 相关系数R=0.799”，则意味着二者之间相关性很强（R=0.799），而这个高相关的结果可能是偶然因素导致的，即不具有统计学意义。r =0.5214, p
2024-01-03 21:47:07
5572
原创 快速从图中提取曲线坐标数据的在线工具WebPlotDigitizer
写论文时要对比别人曲线图、点图、柱形图的数据，但是只有图没有原始数据怎么办？如果我们能够直接从论文图中提取原始的xy坐标的数据，这样就算别人没给数据我们也可以对比。下面介绍一个非常实用的工具：WebPlotDigitizer。推荐使用在线版，非常的快捷方便。下面的操作演示也是基于在线版的。
2023-12-20 11:36:40
15145
2
转载 langchain 组件详解
定义在用于发出请求的 call() / run() / apply() 方法中，例如 chain.call(inputs, callbacks=[handler]) ，它将仅用于该特定请求，以及它包含的所有子请求（例如，对 LLMChain 的调用会触发对 Model 的调用，该 Model 使用 call() 方法中传递的相同 handler）。因此，在本节中我们将介绍 LangChain 中的记忆模块，即如何将先前的对话嵌入到语言模型中的，使其具有连续对话的能力。因此大模型能给出的答案比较受限。
2023-12-04 16:15:26
394
原创 基于Gradio的快速搭建AI算法可视化Web界面部署教程
视图框架：快速构建针对人工智能的 python 的 webApp 库，封装前端页面 + 后端接口 + AI 算法模型推理优势在于易用性，代码结构相比 Streamlit 简单，只需简单定义输入和输出接口即可快速构建简单的交互页面，更轻松部署模型。适合场景相对简单，想要快速部署应用的开发者；优势在于可扩展性，相比 Gradio 复杂。适合场景相对复杂，想要构建丰富多样交互页面的开发者。Gradio是一个开源的Python库，用于快速构建机器学习和数据科学演示的应用。
2023-12-04 16:10:27
3261
3
转载 Gradio 搭建人工智能交互界面v1
Gradio 可以包装几乎任何 Python 函数为易于使用的用户界面。应用界面：gradio.Interface(简易场景), gradio.Blocks(定制化场景)输入输出：gradio.Image(图像), gradio.Textbox(文本框), gradio.DataFrame(数据框), gradio.Dropdown(下拉选项), gradio.Number(数字), gradio.Markdown(Markdown), gradio.Files(文件)控制组件。
2023-11-27 15:31:44
1394
2
原创 知识库文档处理
本项目是一个个人知识库助手项目，旨在，回答用户问题。个人知识库应当能够支持各种类型的数据，支持用户便捷地导入导出、进行管理。在我们的项目中，我们以 Datawhale 的一些经典开源课程作为示例，设计了多种文件类型，介绍每一种文件类型的处理方式，从而支持用户无难度地构建自己的知识库。
2023-11-22 00:12:32
515
原创 2.3 调用智谱 API
智谱 AI 是由清华大学计算机系技术成果转化而来的公司，致力于打造新一代认知智能通用模型。公司合作研发了双语千亿级超大规模预训练模型 GLM-130B，并构建了高精度通用知识图谱，形成数据与知识双轮驱动的认知引擎，基于此模型打造了 ChatGLM（chatglm.cn）。ChatGLM 系列模型，包括 ChatGLM-130B 和 ChatGLM-6B 模型，支持相对复杂的自然语言指令，并且能够解决困难的推理类问题。
2023-11-18 22:40:18
18684
21
原创 2.2 调用星火大模型的API
讯飞星火认知大模型，由科大讯飞于2023年5月推出的中文大模型，也是国内大模型的代表产品之一。同样，受限于中文语境与算力资源，星火在使用体验上与 ChatGPT 还存在差异，但是，作为与文心不分伯仲的国内中文大模型，仍然值得期待与尝试。相较于存在显著资源、技术优势的百度，科大讯飞想要杀出重围，成为国内大模型的佼佼者，需要充分利用相对优势，至少目前来看，星火并未掉队。同时，不知道是否因为讯飞 API 还没有全面开放，讯飞 API 的测试使用效果比文心更好，值得期待。目前，讯飞星火大模型 API 已进入。
2023-11-18 22:31:59
2317
4
转载 【PyTorch】常见错误: RuntimeError: Input type (torch.FloatTensor) and weight type (torch.cuda.FloatTensor)
根据报错内容可以看出Input type为torch.FloatTensor（CPU数据类型），而weight type（即网络权重参数这些）为torch.cuda.FloatTensor（GPU数据类型）。既然网络参数是GPU类型，那解决方法就是将输入类型转变为GPU类型，需要使用到cuda，没有cuda就解决不了。那就同理，对net进行转换。若与上面错误是反的，即。
2023-11-16 15:57:25
2253
原创 在虚拟环境下安装python包
首先通过File—>Setting—>Project：【项目名称】—>Project Interpreter—>设置—>add—>Virtuallenv Environment配置虚拟环境即可。此次我的虚拟环境地址是 F:\python_project\pytorch_learn\LLM\venv。使用cd 到该文件夹下的Scripts中，输入activate.bat。当创建虚拟环境之后，需要给项目重新安装各种包。这样便进入了虚拟环境中，进行pip即可。
2023-11-13 22:46:12
1029
转载 Windows命令行cmd之cd命令用法
(1) 直接输入[该目录所在盘区]: ——以此进入该盘区目录；(2) 然后输入cd [在盘区下相对路径] ——以此进入该目录；4，显示cd帮助及用法。
2023-11-13 21:18:07
6866
原创 动态调整学习率Lr
在训练深度学习模型时，不可避免的要调整超参，而学习率首当其冲是大家最先想要调整的一个超参。而且学习率对于模型训练效果来说也相当重要。然鹅，学习率过低会导致学习速度太慢，学习率过高又容易导致难以收敛。因此，很多炼丹师都会采用动态调整学习率的方法。刚开始训练时，学习率大一点，以加快学习速度；之后逐渐减小来寻找最优解。那么在Pytorch中，如何**在训练过程里动态调整学习率呢？**本文将带你深入理解优化器和学习率调整策略。自定义学习率调度器：torch.optim.lr_scheduler.LambdaL
2023-11-13 17:23:23
239
DPSK调制解调高斯信号_02代码.rar
2021-01-19
高斯信道编码建模与MATLAB仿真
2021-01-18
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人