- 博客(11)
- 收藏
- 关注
RSS订阅原创 vs code远程连接服务器并debug调式（vscode版本1.86.2）
输入密码进入后可以打开文件也可以打开文件夹（现在都是服务器上的路径）文件的时候会遇到进入之后虽然选择了自己的环境，但是在调试的时候依然是。然后连接进入页面后正常和其他的连接服务器一样输入密码。配置中可以修改连接的服务器的基础信息。在调试前要选择自己的虚拟环境。输入自己的SSH端口和地址。退出选择环境再进入调试一次。安装后会多出来一个选项。或者在上方运行中调试。
2024-06-26 18:26:50
255
原创 对本地的LLM模型设置api_key
再我们使用开源模型的时候会设置一些openai风格的api供给前端或者后端调用很多开发者会使用本地的开源模型对自己的保密数据集进行训练和微调，因此在抛出api的时候希望自己设置api_key，防止其他人调用LLM导致数据泄露。此文章以Fastchat为例演示如何对openai风格的api设置api_key，并成功调用。
2024-06-26 17:56:14
379
原创 基于消费级显卡的Galore全参数微调训练--基于LLaMA-Factory
前段时间Galore算法的发布让7B系列的模型从需要60G显存才能全量微调，降低到可以在RTX4090的消费级显卡上可以全量微调，在Galore发布不久之后，LLaMA-Factory就同步更新了这个项目的LLaMA-Board，并支持Galore全参数微调的sft，而不是仅仅使用lora微调。本文介绍如何快速上手进行Galore支持的全参数微调。
2024-06-25 19:15:49
496
2
原创 数据标注（label—stuidio工具）后续其他问题和跨列标注
有时候在传入文件的时候（以csv文件为例）会出现这样的报错，翻译过来就是utf-8编码出现问题。问题原因则是文件中的编码不是utf-8格式导致label-studio无法读取。
2024-06-20 17:20:24
431
原创 【报错解决方案】装好pyarrow之后的sh p_Training.sh报错
报错原因：--lora_target q_proj,v_proj\参数出现问题 lora微调的target不是q_proj,v_proj，每个模型有属于自己的target 我微调的baichuan2中的参数应该是 --lora_target W_pack \。参考官方文档中https://github.com/hiyouga/LLaMA-Factory。每一个大语言模型都有自己对应的关键词，这里已经展示给大家了，也可以去官方文档进行查看。
2023-12-03 13:12:57
399
1
原创 【报错解决方案】LLaMA-Factory中sh p_Training.sh报错
并且这个错误是在已经安装pyarrow包后依然报错找不到pyarrow（我已经用pip show pyarrow查看过版本，是存在的）而解决方法：pip uninstall pyarrow删除重新下载pip install pyarrow。
2023-12-03 13:06:38
1029
1
原创 【报错解决方案】Baichuan2微调相关报错
在Baichuan2微调时，官方文档只是给出了一套非常流畅的微调运行方案，但是我们在实际的操作过程中里面的开发和运行环境和官方多多少少还是有些区别，因此会遇到各种各样莫名其妙的报错，这里我也将我自己踩到的坑分享一下。
2023-12-03 12:49:24
952
1
原创 【报错解决方案】Error: mkl-service + Intel(R) MKL: MKL_THREADING_LAYER=INTEL is incompatible with libgomp-a3
这个报错需要再终端输入以下指令校准即可，亲测有效。
2023-12-03 11:28:22
1497
2
原创 【报错解决方案】TypeError :_set_gradient_checkpointing()got an unexpected keyword argument ‘enable‘
我就查看了一些基础模块的版本，发现transformers的版本非常新（目前是4.35.x），但是我们知道项目中对transformers的版本的要求是非常严格的。但是我在查询pip show enable的时候发现我是有enable模块的，所以问题可能是因为其他的问题导致了enable模块无法被读取。所以尝试之后发现transformers的版本下降到4.31.0就可以解决“enable”模块无法识别到的问题。查询官方文档发现很多项目对transformers的版本下调会提高模块的兼容性。
2023-12-03 11:21:37
1357
1
原创 【TIANCHI】天池大数据竞赛（学习赛）--- 淘宝用户购物行为数据可视化分析
本人代码萌新一枚，目前还在学习python中，这篇文章是我本人对天池大数据竞赛上的学习赛上官方对数据分析后的自己的一些见解，参考的位置我会放在文章的最后。第一次在CSDN写文章，有错误还希望大家可以指正，我都会积极改正。例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基础内容。
2023-04-04 10:39:59
2807
3
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人