- 博客(541)
- 资源 (22)
- 收藏
- 关注
RSS订阅原创 P-Tuning v2: 与微调性能相等的提示性优化
提示微调，只用一个冻结的语言模型来微调连续的提示，大大减少了训练时每个任务的存储和内存使用。然而，在NLU的背景下，先前的工作显示，提示微调对于正常大小的预训练模型来说表现并不理想。我们还发现，现有的提示微调方法不能处理困难的序列标注任务，表明缺乏普遍性。我们提出了一个新的经验发现，适当优化的提示微调可以在广泛的模型规模和NLU任务中普遍有效。它与微调的性能相匹配，而只有0.1%-3%的微调参数。
2023-06-20 12:17:58
577
原创 [译] DeepSpeed：所有人都能用的超大规模模型训练工具
我们于今年 2 月份。这是一个开源深度学习训练优化库，其中包含的一个新的显存优化技术—— ZeRO（零冗余优化器），通过扩大规模，提升速度，控制成本，提升可用性，极大地推进了大模型训练能力。DeepSpeed 已经帮助研究人员开发了图灵自然语言生成模型()，其在发表时为世界上最大的语言模型（拥有 170 亿参数），并有着最佳的精度。我们在 5 月份——支持有着 2000 亿参数的模型训练，与最新技术相比，训练速度可达 10 倍——以及一系列计算、IO 和收敛优化功能，从而助力最快速的 BERT 训练。
2023-06-20 12:14:01
1373
原创 本地安装部署运行 ChatGLM-6B 的常见问题解答以及后续优化
如果你电脑内存实在捉襟见肘的话，可以选择直接使用现成的INT4量化模型，这样内存中只需要占用5.5GB左右了，使用GPU运行时，8G内存的电脑也可以一战了，使用CPU运行时，可以允许24GB甚至16GB内存的电脑运行，显著降低运行配置。比如将 Temperature 设置为 0.05 和 0.95 的主要区别在于，T=0.05 会使得模型更加自信，更加倾向于选择概率最大的类别作为输出，而 T=0.95 会使得模型更加不确定，更加倾向于输出多个类别的概率值较大。（你需要那个文件就改哪个文件，不需要全改）
2023-06-18 19:10:58
13637
5
原创 使用 CPU 本地安装部署运行 ChatGLM-6B 获得自己的专属 AI 宠物
ChatGLM-6B 是一个清华开源的、支持中英双语的对话语言模型，基于GLM架构，具有62亿参数。结合模型量化技术，ChatGLM-6B可以本地安装部署运行在消费级的显卡上做模型的推理和训练（全量仅需14GB显存，INT4 量化级别下最低只需 6GB 显存）虽然智商比不过 openAI 的 ChatGPT 模型，但是ChatGLM-6B 是个在部署后可以完全本地运行，可以自己随意调参，几乎没有任何审查限制，也几乎没有对话轮数限制的模型。ChatGLM-6B 模型用来调教成猫娘，魅魔什么的再合适不过了。
2023-06-18 19:02:53
2974
3
原创 大模型入门（六）—— RLHF微调大模型
所以价值的计算如下：核心是下面的delta的计算，除了考虑到当前的时刻的奖励值，还考虑到了未来时刻的输出的奖励值nextvalues（只不过这里的奖励值是由critic网络直接输出的每个token对应的分数）。从上图可以看出，给定一个输入x，会生成两个文本y11和y22，一个来自于初始的模型，另一个来自于微调的模型，微调的模型生成的文本还会进入到奖励模型中打分输出rθ，而初始模型和微调的模型生成的结果会用KL散度约束它们的分布，确保模型不会太偏离原来的模型，并且能输出高质量的回复。
2023-06-15 17:47:53
5205
原创 大模型入门（五）—— 基于peft微调ChatGLM模型
值得注意的是，在使用deepspeed训练时，在加载chatglm模型时需要注意，chatglm模型加载默认是使用pytorch中的skip_init初始化，会将参数先加载到meta device上，这种情况就无法使用deepspeed。，可以通过transformers中的Autoxxx类加载。经过中英双语训练，辅以监督微调、反馈自助、人类反馈强化学习等技术，ChatGLM因为是中文大模型，在中文任务的表现要优于LLaMa，我在一些实体抽取的任务中微调ChatGLM-6B，都取得了很不错的效果。
2023-06-15 17:43:03
2235
原创 大模型入门（四）—— 基于peft 微调 LLaMa模型
库中的deepspeed方法，zero-3会将模型、梯度、优化器参数都分割到不同的GPU，并且使用cpu offload将一些中间变量放到cpu上，经实测使用两张GPU时，每张GPU的使用大概5个G多一点，单张卡的batch size可以设置到8，但是在实际训练过程中速度比DDP还要慢一点，这里的原因还是因为模型并行、CPU offload等带来了大量的通信工作，所以单张gpu能存放一整个模型时还是首推DDP。单GPU训练很好理解，训练的时候只要注意下面的一段代码即可，混合精度训练+梯度累积。
2023-06-15 17:39:54
6213
1
原创 大模型入门（二）—— PEFT
最后微调时只调整前缀的参数，大模型的参数保持不变。保存时只需要为每个任务保存重参数的结果即可。一般在通过Prompt的方式使用大模型时，通常需要人工构造一些模板，P-tuning将自然语言模板的构建转换成连续参数优化的问题，用一些特殊的token替代人工构造的自然语言模板，让模型自己去学习这些连续的token，在学习的过程中只微调这些token的embedding参数，并且为了保证token之间的联系，并不是随机初始化embedding，而是通过lstm层学习这些token的embedding。
2023-06-15 17:35:19
1424
原创 大模型入门（一）—— LLaMa/Alpaca/Vicuna
相比于ChatGPT或者GPT4来说，LLaMa可能效果上还有差距，但相比Closed AI，至少LLaMa论文和模型都开源出来了，目前hugging face已集成了LLaMa的代码实现和开源模型。Alpaca是斯坦福在LLaMa-7B的基础上监督微调出来的模型，斯坦福是用OpenAI的Text-davinci-003 API配合self-instruct技术，使用175个提示语种子自动生成了52K条提示-回复的指示数据集，在LLaMa-7B上微调得到的模型，在8张80G的A100上训练了3小时。
2023-06-15 17:34:24
5583
原创 大模型入门（三）—— 大模型的训练方法
属于数据并行的范畴，但又很不一样，在ZeRO中会将模型参数、优化器参数、梯度等分片到不同的GPU上，ZeRO的方法可以配合张量并行或者流水线并行一起使用，但在配合TP或者PP时，通常只启用优化器参数的分片，其他的分片可能会带来不好的效果。每个tensor被分割成多块（根据场景按行或者列分割）存储在不同的GPU上，每个GPU单独计算，最后同步汇总到一块，类似于transformer中的多头，假如每个头的计算都在一张单独的gpu上，计算完后将所有gpu的结果concat到一起再分发到每张gpu上。
2023-06-15 17:34:21
11309
2
原创 从GLM-130B到ChatGLM：大模型预训练与微调
前面是类似bert的mask，后面自回归的预测mask的词。130B，8台80G，24台40G。一个数据过四遍就效果不太好了。
2023-06-15 17:28:10
371
原创 万字长文：大模型训练避坑指南
自 2022 年 11 月底 ChatGPT 发布以来，大模型的热度持续发酵，相信高屋建瓴的讨论大家已经看了很多了。今天我们选择从实用角度，分别就算力、算法、工程、数据和团队等方向讨论了训练一个千亿参数量级的大语言模型和 ChatGPT 需要些什么，希望能够给正在尝试拥抱大模型的业务决策者和技术人员一些有价值的参考。主持人：Kiwi，AI 领域投资人本期嘉宾介绍：冠叔，野路子 AI 产品经理，操盘过大量 AI 业务龙老师，大模型算法工程师，开源过超过 20 个预训练模型算法欣然，AI 全栈工程师，做过芯片、
2023-06-15 17:20:03
1235
原创 Windows11 安装 CUDA/cuDNN+Pytorch
medium - Install CUDA On Windows: The Definitive Guidemedium - Installing CUDA and cuDNN on windows 10windows下安装配置cudn和cudnn版本对应关系需要注意的是一定要选择 TensorFlow 和 CUDA相匹配，还需要…Windows 安装 CUDA/cuDNN - 知乎。
2023-06-14 16:54:02
1829
翻译 关于心理健康领域应用AI的思考
十九世纪六十年代，麻省理工学院的计算机科学家约瑟夫·魏岑鲍姆（Joseph Weizenbaum）创建了一个名为伊丽莎的计算机程序。它旨在模拟罗杰尔疗法，其中患者指导对话，治疗师经常向她重复她的语言：魏岑鲍姆把伊丽莎拍成讽刺。他怀疑计算机能否模拟有意义的人类互动。因此，当许多尝试该程序的人发现它既有用又迷人时，他感到震惊。他自己的秘书要求他离开房间，以便她可以与伊丽莎独处。更糟糕的是，医生将其视为一种潜在的变革工具。“为此目的设计的计算机系统每小时可以处理数百名患者，”三位精神科医生在1966年的《神经与精
2023-06-11 22:09:00
1254
转载 大语言模型中的涌现现象是不是伪科学？
深度学习在理论上的孱弱一直被诟病，但科学史上存在大量先有应用再有理论的事例，而其中不能解释的重大实验现象往往预示着理论创新的契机。我们首先从现象出发，来看下LLM中最神秘的emergent ability，如图上图中x、y轴分别表示模型规模和模型效果。研究员们至今无法给出令人信服的解释，为什么主流的大型模型在规模超过10^22级别后，效果会突然大幅提升。这个问题非常重要，有可能搞清楚这个问题，就能终结追求AGI路上的统计和符号的路线之争。
2023-06-11 21:45:36
173
翻译 OpenAI 用于辅助治疗的 GPT-4：AI 如何彻底改变心理健康护理
人工智能（AI）改变了我们生活的方方面面，从娱乐和教育到医疗保健。人工智能最有前途的应用之一是在心理健康领域，它可以帮助数百万患有抑郁症、焦虑症、创伤后应激障碍 （PTSD） 和物质使用障碍等各种疾病的人。在这篇博文中，我们将探讨OpenAI的GPT-4，一种可以接受文本和图像输入并为用户发出文本返回的大型多模态模型，如何用于辅助治疗和支持有心理健康问题的人。
2023-06-11 18:21:26
759
原创 Vue.js - 使用History模式反向代理Nginx配置404错误
History模式这样不灵了，需要注意两点：#防止刷新出现404错误2、要加"/"结尾配置proxy_pass时，当在后面的url加上了/，相当于是绝对根路径，则nginx不会把location中匹配的路径部分代理走；如果没有/，则会把匹配的路径部分也给代理走（这样配置在Nginx反向代理+负载均衡简单实现（http方式）也提到过）。
2023-06-01 22:48:01
2679
1
翻译 ChatGPT模型微调翻译及注释
对于此用例，过去的相同对话可以在数据集中生成多行，每次的上下文略有不同，每次代理生成都作为完成。你的作业可能排在我们系统上的其他作业后面，训练我们的模型可能需要几分钟或几小时，具体取决于模型和数据集大小。这通常被称为“少镜头学习”。如果要对预先存在的数据集进行微调，而不是从头开始编写提示，请确保尽可能手动查看数据中是否有令人反感或不准确的内容，或者如果数据集很大，则尽可能多地查看数据集的随机样本。其他训练参数不必更改，但是，如果新的训练数据比以前的训练数据小得多，您可能会发现减少 2 到 4 倍很有用。
2023-04-18 14:48:09
681
1
原创 LinkWeChat系统Docker版部署注意事项
MYSQL的docker提供数据初始化机制，只要将初始化sql脚本导入docker-entrypoint-initdb.d目录下即可，按照现有的。4、如果数据库连接不成功，或者nacos、xxl-job连接不成功，一般是因为数据库连接配置问题，或者是跨容器通信问题，需要根据“3、nacos配置文件导入，如果使用的是nacos官方sql，需要导入系统配置脚本“lw_nacos_config.zip”
2023-02-28 15:39:21
1131
转载 诞生的新职业——提示工程师，年薪已经达到了25万-33万美元
就在前不久，一位来自斯坦福大学的华人本科生Kevin Liu，就通过prompt injection的方法，让微软ChatGPT搜索的全部prompt泄露。因为它对研究、发现很重要，能够用来帮助测试大语言模型的各种极限，还能在大语言模型上的基础上开发各种创新型的应用。因为它对研究、发现很重要，能够用来帮助测试大语言模型的各种极限，还能在大语言模型上的基础上开发各种创新型的应用。今天新发布在GitHub上的一个项目，整理了提示工程的指南、论文、讲座和资源，堪称史上最全prompt资料包。
2023-02-24 17:08:41
425
转载 通过与 GPT 对话实现零样本信息抽取
目前通用大模型取代为特定任务定制训练的专属模型的趋势逐渐显露，这种方式使AI模型应用的边际成本大幅下降。由此提出一个问题：不经过训练来实现零样本信息抽取是否可行？信息抽取技术作为构建知识图谱的重要一环，如果完全不需要训练就可以实现，将使数据分析的门槛大幅降低，有利于实现自动化知识库构建。我们通过对GPT-3.5用提示工程的方法建立一个通用的零样本IE系统——GPT4IE（GPT for Information Extraction），发现GPT3.5能够自动从原始句子中提取结构化信息。支持中英文，工
2023-02-24 17:05:05
1191
转载 docker内服务无法设置自启动的问题：Failed to get D-Bus connection: Operation not permitted解决方案
而容器并不是一个完整的操作系统，只有一个文件系统，而且默认启动只是普通用户这样的权限访问Linux内核，也就是没有特权，所以自然就用不了！Docker的设计理念是在容器里面不运行后台服务，容器本身就是宿主机上的一个独立的主进程，也可以间接的理解为就是容器里运行服务的应用进程。一个容器的生命周期是围绕这个主进程存在的，所以正确的使用容器方法是将里面的服务运行在前台。创建容器后，在里面使用systemctl启动服务报错。开始接触Docker的朋友，可能会遇到这么一个问题，使用。，一个容器里运行一个前台服务！
2023-02-14 22:14:30
1303
转载 GIT变基rebase与合并merge
我们正在开发某个项目，为了实现某个项目，我们创建了分支task_113，正在这个分支上开展工作。这个时候收到反馈说有个很严重的bug需要立即处理。这个时候，你应该立即切换到线上分支，为这个bug建立新的分支issue_005，并在这个分支上修复它。在测试通过后，切换到线上分支来合并issue_005，最后将改动推到线上。然后切换回task_113上继续做新的需求。
2023-01-21 08:25:50
773
原创 阿里云ECS服务器密钥对登录遇到的坑
可能会导致部分服务器账户权限异常，比如：www账户，导致应用无法启动。，服务器reboot无效。改为密钥对登录之后，
2023-01-14 16:53:57
945
原创 SHAP 可视化解释机器学习模型简介
个人理解SHAP模型是对机器学习模型进行解释的一个模型上面这个图就是一个比较直观的解释机器学习模型一般都是一个黑盒。比如某个模型要进行一些预测任务，首先对模型输入一些已知条件（Age=65,Sex=F,BP=180,BMI=40），然后模型根据输入进行训练，最终训练完的模型可以对该条件输出预测结果（Output=0.4）
2022-12-14 17:36:40
32610
10
原创 Opencv4.6.0+VS2019+win11安装教程
官网链接：https://opencv.org/releases/进入可看到不同版本、不同系统的opencv，选择自己需要版本，我自己选择的是opencv-3.4.6点击下载windows版本，会跳到以下界面，等待5秒会自动下载。
2022-11-15 11:52:17
2739
原创 语音处理基础：预加重、分帧、帧移、加窗、傅里叶变换
语音信号在宏观上是不平稳的，在微观上是平稳的，具有短时平稳性（10---30ms内可以认为语音信号近似不变），这个就可以把语音信号分为一些短段来进行处理，每一个短段称为一帧（CHUNK）。介绍帧移的时候我们说了，我们处理信号的方法都要求信号是连续条件，但是分帧处理的时候中间断开了，为了满足条件我们就将分好的帧数据乘一段同长度的数据，这段数据就是窗函数整个周期内的数据，从最小变化到最大，然后最小。加窗的代价是一帧信号的两端部分被削弱了，所以在分帧的时候，帧与帧之间需要有重叠。
2022-11-03 17:14:33
6414
2
原创 OpenSMILE相关特征
（2）在论文会看到BoAW特征集的说法，指的是某个特征集的BoAW形式。（1）eGeMAPS是GeMAPS的扩展，在18个LLDs的基础上加了一些特征，包括5个谱特征：MFCC1-4和Spectral flux（两个相邻帧的频谱差异）和2个频率相关特征：第二个共振峰和第三个共振峰的带宽。（2）首先计算16个LLD，过零率，能量平方根，F0，HNR（信噪比，有些论文也叫vp，voice probability 人声概率），MFCC1-12，然后计算这16个LLD的一阶差分，可以得到32个LLD。
2022-11-02 21:19:15
1266
1
翻译 openSMILE用户手册——第2章：默认特征集的使用
语音情感计算经常会用到openSMILE进行语音特征的提取，openSMILE作为一款已经被很多研究者使用的提取情感特征的工具箱，却没有一个完整的中文版手册，也是为了自己查阅方便吧，慢慢翻译一下，算是记录自己的工作，如能给有需要的同行觉得有点用处当然好，即便不能方便什么人，也算是自己的一点积累吧。水平有限，难免错漏，请不吝赐教。先放上来，边写边修正和排版吧。
2022-11-01 23:38:07
632
翻译 openSMILE用户手册——第2章：第一次特征提取
语音情感计算经常会用到openSMILE进行语音特征的提取，openSMILE作为一款已经被很多研究者使用的提取情感特征的工具箱，却没有一个完整的中文版手册，也是为了自己查阅方便吧，慢慢翻译一下，算是记录自己的工作，如能给有需要的同行觉得有点用处当然好，即便不能方便什么人，也算是自己的一点积累吧。水平有限，难免错漏，请不吝赐教。先放上来，边写边修正和排版吧。
2022-11-01 23:28:54
378
翻译 openSMILE用户手册——第二章：使用openSMILE
音情感计算经常会用到openSMILE进行语音特征的提取，openSMILE作为一款已经被很多研究者使用的提取情感特征的工具箱，却没有一个完整的中文版手册，也是为了自己查阅方便吧，慢慢翻译一下，算是记录自己的工作，如能给有需要的同行觉得有点用处当然好，即便不能方便什么人，也算是自己的一点积累吧。水平有限，难免错漏，请不吝赐教。先放上来，边写边修正和排版吧。
2022-11-01 23:16:12
738
翻译 openSMILE 用户手册——第一章：基本介绍
慕尼黑的开源媒体大型特征空间提取（openSMILE）工具包是一个模块化的，灵活的特征提取器，用于信号处理和机器学习应用。主要重点放在音频信号功能上。然而，由于其高度的抽象性，openSMILE组件还可用于分析来自其他模态的信号，例如生理信号，视觉信号和其他物理传感器，可给出合适输入的组件。它纯粹用C ++编写，具有快速，高效和灵活的架构，可运行在Linux，Windows和MacOS等各种主流平台上。openSMILE专为实时在线处理而设计，但也可以以批处理模式脱机处理大型数据集。
2022-11-01 23:08:14
1087
转载 CUDA安装教程（详细）
windows10 版本安装 CUDA ，首先需要下载两个安装包CUDA toolkit（toolkit就是指工具包）cuDNN注：cuDNN 是用于配置深度学习使用
2022-10-28 05:09:07
815
WPBakery-Page-Builder-v6.6.0.zip
2021-04-28
2018-2019中国开发者调查报告
2019-03-15
华为adb手机驱动工具 官方版
2017-02-04
po,mo互转工具
2016-03-14
市场需求文档(MRD)写作方法与技巧(上)
2015-06-01
文档管理---Minidx
2007-11-18
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人