- 博客(5)
- 收藏
- 关注
RSS订阅原创 利用oenapi以openai_api的方式调用非openai系列模型的方法
如果上面的镜像无法拉取，可以尝试使用 GitHub 的 Docker 镜像，将上面的。在model这块要注意，要填入渠道下模型的参数，不是上面的名称。目录，请确保该目录存在且具有写入权限，或者更改为合适的目录。这里在配置星火模型，可以配置任何oenapi支持的模型。点击复制就可以拿到密钥，随后就可以在我们项目中以。是宿主机的端口，可以根据需要进行修改。提供了开箱即用的功能，有一个默认的。数据和日志将会保存在宿主机的。格式去请求我们的大模型接口。如果启动失败，请添加。如果你的并发量较大，
2024-07-05 10:56:32
617
原创 如何使用vscode调试streamlit代码，解决报错Did you forget to initialize it? More info: https://docs.streamlit.io/li
其中 program后路径替换为streamlit包在你当前环境下的路径。run.py换成你想调试的基于streamlit的python程序路径。3.重新调试，左上角选择debug_streamlit。2.添加以下内容至launch.json。运行浏览器端响应界面，调试开始！
2024-06-07 17:02:40
280
原创 windows环境下在家用笔记本电脑本地部署并微调Gemma全流程记录
根据硬件条件可以调整 --quantization_bit 4/8/fp16等不同量化等级，也可以调整batchsize。使用lora微调，构建自己的数据集时可按照instruction-input-output的方式构建数据集，具体格式可以参考。在LLama-Factory文件夹下运行.\train.bat脚本即可完成lora微调。导出权重，测试操作同训练，在LLama-Factory文件夹下创建相应脚本运行即可。对windows系统，我们需要写一个.bat文件，而不是官方的.sh脚本。
2024-03-01 19:41:35
2547
1
原创 解决nvidia-smi发现显存占用严重，却看不到进程的问题
练了一个服务器，跑代码显示显存不足，nvidia-smi一看发现：发现显存占用严重，却看不到进程的问题，直接kill也kill不掉。
2023-12-21 20:26:44
695
原创 解决vscode更新之后运行jupyter无法选择任何已有内核的问题
完成下载安装后记得在安装jupyter插件时选择install栏中的pre-release版本，安装旧版jupyter插件。不是连接不到内核是之前所有的环境都找不到了，似乎是版本更新之后jupyter插件的bug。必须要使用老版本jupyter插件。对于我一个生手来说最后通过重装旧版本vscode解决。若不想自动更新vscode可以在使用crtl+打开设置，搜索更新并将自动更新一栏关闭。在控制面板中删除vscode。
2023-04-08 20:08:06
3807
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人