- 博客(17)
- 收藏
- 关注
RSS订阅
原创 LoRA中值得注意的微调细节
究竟LoRA怎么用到大模型训练上。首先要有几点认识1、 理论上LoRA可以用到不同类型神经网络的权重矩阵，减少可训练的参数量2、 不同的大语言模型基于Transformer的不同改版，Transformer结构主要self attention层（W_q,W_k,W_v,W_o）和MLP层。
2023-09-24 11:04:36
3911
1
原创 P-tuningv2微调ChatGLM2及微调细节剖析
本文基于ADGEN广告文本数据集，采用P-tuningv2技术微调ChatGLM2的简单案例，深入源码剖析微调细节，把握微调核心。目录1.数据集介绍2. 模型准备2.1 ChatGLM2-6b简介2.2 安装与配置3. 微调及微调细节3.1 参数设置说明3.2 LLM输入和标签构建说明3.3 微调实现4. 评估细节4.1 评估实现4.2 评估指标说明
2023-08-21 19:50:02
2342
12
原创 大模型微调技术——Prefix Tuning 与 Prompt Tuning总结
四大模块，40个知识点，快速阅览Prefix Tuning 与 Prompt Tuning 技术建议补完Prefix Tuning 与 Prompt Tuning 技术基础，再去回顾P-Tuning及P-Tuning v2技术，能更好理解这四项技术之间的联系与区别。
2023-07-26 14:04:15
2079
1
原创 大模型微调技术——P-Tuning及P-Tuning v2总结
从五大模块总结P-Tuning及P-Tuning v2 微调技术，近200个小知识点。【技术回顾】、【P-Tuning技术原理】、【P-Tuning与超大规模模型微调关系】、【P-Tuning价值】、【P-Tuning v2】大模型微调技术系列原理：[大模型微调技术——概述](https://blog.csdn.net/qq_41838627/article/details/132327479)[大模型微调技术——LoRA](https://blog.csdn.net/qq_41838627/artic
2023-07-26 13:51:11
6196
7
原创 SQL单表操作
SQL单表操作。要将某个表的’major’中的’英语’更新为’英语文学’in (‘历史’,’英语’,’生物’)in (‘历史’,’英语’,’生物’)可以用and 或者or 来连接条件。在创建表中插入数值,根据属性的数据。如果是对某些符合字段内容进行回传。列举信息表的全部 * 指全部。=3 判断哪些行的数据对应的。如果想要取的表是排序的。没有的信息填NULL。
2023-10-15 15:26:18
101
1
原创 SQL 知识总结
基础，常用的SQL语句：数据库，表的创建，表的删除，数据插入(insert语句)，数据查询(select语句)，where条件过滤，排序order by，聚合函数，分组 group by，Distinct:去除重复记录，集合运算，子查询，表关联，索引-提高查询效率的结构视图，数值更新 update，数据删除 delete，数据导入与导出。
2023-10-15 15:12:48
91
1
原创 大模型微调技术——LoRA
LoRA作为大模型微调技术一颗耀眼的珍珠，我称之为极简主义的美学。相比P-tuning系列的微调技术的繁杂，LoRA以极简的数学思想却十分成效的结果，在大模型微调技术中站住了重要的一席之地。因此，原理上理解LoRA并不复杂。大模型微调技术系列原理：[大模型微调技术——概述]大模型微调技术——LoRA[大模型微调技术——Prefix Tuning 与 Prompt Tuning总结]
2023-08-16 21:31:39
1138
2
原创 大模型微调技术——概述
大语言模型推动新一波AI的火热发展，呈现百发齐放的趋势。“预训练+微调”技术，可以让百亿级语言模型短时间内解决不同下游任务的需求(金融、医疗、法律)，极大提升了企业开发效率，甚至极有可能短时间内颠覆一家企业。本文对“微调技术”进行整体概述，首先汇总技术发展的背景和主流的脉络，正确看待大模型潜力和微调技术。其次是对微调技术的三大认识：三部曲（学习路线）、LLM训练、AI应用开发新范式。接着是涉及的核心概念，把握总体技术方向。最后是各种微调方法，及两大主流核心微调技术的异同点。
2023-08-16 21:16:00
932
4
原创 【强化学习】百度Paddle7日打卡营学习心得
【前言】三级标题四级标题五级标题六级标题挺想为每一个课节的学习内容都做个介绍，但是最近太忙没时间弄，加上还是想后面深入理解透了再说。简单做个心得记录，顺便开个坑篇【认识强化学习】智能的核心:与环境中交互学习像人一样的自学？环境：已知的→规划、未知的→探索和试错‘核心思想：智能体agent 在环境environment 中学习，根据环境的状态 state ，执行动作action 并根据环境的反馈 reward（奖励）来指导更好的动作强化学习和其他机器学习关系Agent学习的两种
2020-06-24 02:29:47
237
原创 Matlab GUI入门-直方分布图界面制作
前言制作gui界面，根据输入两个整数，画直方图。直方图的直方数和随机数的个数由界面输入；随机数的类型请用radiobutton控制，至少给出三种随机数组合。入门系列一从界面到功能具体实现详细下戳Matlab GUI入门-文件显示界面制作实操1.step 1 构建图形的初始页面，颜色、字体大小可以双击 打开属性页面设置 自己选择2.功能部分。对功能进行分析。（1）输入参数后，点击确...
2020-05-04 15:35:42
2175
原创 Matlab GUI入门-文件显示界面制作
前言接触图形界面已有一段时间，学习过python tkinter ，Pyq5学习一点，到最近由于课程matlab 作业的需要，摸索GUI操作。感觉各种东西在脑袋里混成一团浆水。说实话，老师课上基本没讲什么，大部分时间都是度娘和各种博客胡乱摸索了一通，总觉得查找的资料有点多，所以想综合下各方资料，同时也给学习一些参考。内容课程作业的其中一项内容：制作gui界面，可以选取文件夹，将里面的所有文件...
2020-05-04 15:34:35
2874
4
原创 飞桨PaddlePaddle-AI结营心得
前言首先附录一下一周任务青2系列中值得关注的一些小点。总体来说，我觉得课程总体设计 通过 青2 这个任务情景 将各种任务串起来，有项目的初步框架。Day2 《青春有你2》Python 爬虫 和人像动漫体验Day4 《青春有你2》分类任务坑总Day5《青春有你2》评论数据爬取与词云分析心得第一天的任务是利用python的基本知识完成一些编程题。青2 系列任务从第二天开始。首先是数据获...
2020-04-30 13:39:23
680
原创 Day4 《青春有你2》分类任务坑总
前言第三天的作业是对第二天爬取的《青春》选手信息进行数据分析，基本上用的是matplotlib绘图，所以就不分享了，再加上有点小细节没做好也没有满分。day4 的任务是建立自己的数据集，对任务进行分类。图像分类是计算机视觉的重要领域，它的目标是将图像分类到预定义的标签。这次作业是在百度飞桨（AI Studio）的在线平台上操作（paddle 是类似 tensorflow 的 深度学习框架）优...
2020-04-28 18:37:43
479
原创 Day2 《青春有你2》Python 爬虫 和人像动漫体验
@目录《青春有你》人物动漫化体验—————————————————————————————————前言爬取《青春有你2》小MM是第二天训练训练营的任务。之前也没有写过爬虫，滚摸爬了一个下午，非常感谢群里小伙伴的解疑。另外体验了一番 调用百度产品 人物动漫化，感觉十分有趣。整体来说这天百度训练营的学习内容还是趣味挺足。在下面一一分享给大家1. 《青春有你》这天的学习作业是爬取《青春有你...
2020-04-24 01:52:15
1131
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人