- 博客(6)
- 收藏
- 关注
RSS订阅原创 Baichuan2-13B微调
基于此，我们自然而然的猜想模型在预训练阶段也是使用这样的数据进行训练的，基于这样的假设，本次实验将对 SQL 语句处理成上述格式后进行微调，虽然微调后结果跟原始模型的结果基本一致。反观多表查询，微调后的结果直接下降13个百分点，在测试数据集中，仅仅400多条 SQL 语句就有100多条是错误的，可想而知，在训练集中，错误的数据应该也不少的吧。模型微调后的性能取决于训练的数据，如果很多数据是错误的，那学习到的知识也是错误的，因此在处理数据时一定要确保数据的正确性。没有剔除错误的 SQL 语句。
2024-04-14 18:36:35
911
1
原创 Baichuan2原理
参数不合并的意思是分别加载基座模型和 LoRA 模型，加载方法也很简单，不过值得注意的是，由于分别加载基座模型和 LoRA 模型，需要将两个模型的参数都放在显卡或 CPU 上，不然会出错。一种方法是将基座模型和 LoRA 模型的参数合并在一起，成为一个新的大模型，另一种方式是不将基座模型和LoRA模型参数合并在一起，这时需要分别加载这两个模型。，表示当前对话已经结束。上面讲过，如果在微调结束时，选择将基座模型和 LoRA 模型的参数合并成一个新的模型时，那么加载方法跟加载基座模型的方式是一样的。
2024-04-14 18:13:45
671
1
原创 Qwen1.5原理
使用模型进行微调，主要了解该模型如何构造 prompt，尤其对单轮对话和多轮对话的处理方式，只有了解并掌握其原理，才能根据需要做出相应的调整。下面将介绍微调时如何构造 prompt。
2024-04-14 17:47:35
1828
4
原创 深度学习环境配置
学习 AI 必定要用显卡来跑模型，而使用显卡需要用到 cuda 和 cuDNN。此外，还需要考虑深度学习框架以及它们版本之间的问题。简单的说，配置环境是一件极其麻烦的事情，稍有不慎将功亏一篑。以下将记录自己配置的环境。
2024-02-01 15:17:01
1233
1
原创 文献管理工具
Zotero 只是一款极其简单的文档管理工具，本身没有图1所示的那些功能，比如翻译、论文的影响因子、以及给文章设置标签等功能，因此需要结合一些开源插件才能实现。需要注意的是，在使用工具时满足需求就行了，因为插件之间可能存在冲突，导致出现意想不到的情况发生，下面将介绍几款常用的插件，以及如何使用。如需软件及插件可从下面链接获取。注：由于目前 Zotero7 版本还处于测试阶段，不是很稳定，因此该博客都是基于 Zotero6 版本进行介绍。pwd=tfp2，提取码：tfp2。
2024-01-26 21:26:34
1505
原创 高效使用开发工具
市面上比较主流的两款开发工具分别是和。这两款软件有各自的优点，同时也有相应的缺点，根据编程习惯，我比较喜欢用 pycharm 来 debug，效率比较高，但编写代码用 vscode 更舒服一些。此外，还将介绍如何配置参数，避免每次运行程序时重新输入参数值。
2024-01-23 21:13:26
1455
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人