- 博客(16)
- 收藏
- 关注
RSS订阅原创 InternLM大模型实战营作业集合
InternLM实战营第二节作业-CSDN博客 第三节课作业-CSDN博客 第四节Xtuner作业-CSDN博客 第5节LMDeploy作业-CSDN博客 第6节OpenCompass 作业-CSDN博客
2024-03-19 16:49:52
97
1
原创 OpenXlab应用部署经验
最近参加了浦语书生大模型实战营，其中有用到OpenXlab的地方(使用Xtuner对InternLM_chat_7B微调后,将trandformers模型和streamlit推理代码上传到OpenXlab并部署)。整个部署过程还是比较繁琐的，此博客分享主观认为最重要的部分，即推理代码下载并调用OpenXlab上的模型。github上的代码结构如下：OpenXlab要求创建的应用得有app.py，但是可以在创建应用的时候将默认的启动文件更改，实践中将其改成了start.py，这也是踩坑的地方。
2024-03-17 17:21:15
218
1
原创 InternLM大模型实战营基础作业和笔记合集
第5节：https://blog.csdn.net/qq_46052444/article/details/135611214。第5节：https://blog.csdn.net/qq_46052444/article/details/135685729。第6节：https://blog.csdn.net/qq_46052444/article/details/135760793。
2024-01-30 23:37:13
141
原创 第5节LMDeploy作业
2 在POST /v1/chat/completions中填写id。1.转发端口后使用GET /v1/models查看id。
2024-01-18 22:26:53
392
1
原创 第五节LMdeploy笔记
MIT AWQ算法（4bit读取，反量化为FP16计算）高性能推理引擎TurboMind。核心功能量化：计算密集型和。
2024-01-15 21:45:58
577
1
原创 第三节课作业
基于 Gradio 框架将其部署到 Web 网页，开发机运行端口7860。1.2使用之前InternML-demo拷贝的模型。1.1使用之前InternML-demo环境。加载数据，构建向量知识库到开发机本地磁盘。1.3LangChain 相关环境配置。1.4下载NLTK相关资源。本地电脑终端映射开发机端口。
2024-01-10 12:19:04
364
原创 第一节书生·浦语大模型全链路开源开放体系
书生浦语大模型全链路开源体系简介，参考自https://www.bilibili.com/video/BV1Rc411b7ns/?vd_source=f04f7873a5f54c0edc014af69b7eb446 。仅供学习记录
2024-01-04 22:56:08
373
原创 ubuntu18 双显卡安装Nvidia驱动后登录进不去桌面系统，循环登录等相似问题的解决办法
境地：升级内核之后，原本安装的ubuntu显卡驱动不能用，所以手动安装了nvidia显卡驱动，导致进入系统黑屏，然后在启动界面选择了高级选项->recovry-mode 删除后通过autoinstall 、ppa、ubuntu软件更新、手动安装.run文件等四种方法安装ubuntu显卡驱动，但是都没有成功安装，遇到的问题有黑屏，循环登录，登录不进桌面环境等问题。关于循环登录，是因为开启了自动登录的原因，但是百度关闭自动登录后，并不能真正解决问题，而是遇到进不去桌面系统。我的最终矛盾转化为多次安..
2021-10-11 20:15:50
2016
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人