- 博客(9)
- 收藏
- 关注
RSS订阅原创 书生浦语第六节作业
用lagent自定义工具实现一个调用和风天气 API 的工具以完成实时天气查询的功能。1. Lagent Web Demo 的使用。2.完成 AgentLego 直接使用部分。同样用上述方法打开lagent。用agentlego自定义工具。部署lmdeploy。我的提问回答界面如下。
2024-04-23 20:49:32
122
原创 书生浦语第五节课作业
为了更加明显体会到W4A16的作用，我们将KV Cache比例再次调为0.01，查看显存占用情况。看到，显存占用变为2472MB，明显降低。参数设置为0.01，约等于禁止KV Cache占用显存。然后与模型对话，可以看到，此时显存占用仅为4560MB，代价是会降低模型推理速度。首先保持不加该参数（默认0.8），运行1.8B模型，与模型对话，查看右上角资源监视器中的显存占用情况。与模型对话，再次查看右上角资源监视器中的显存占用情况。5.量化：运行命令后得到量化后的模型。6.启动api服务器。
2024-04-15 20:13:51
124
1
原创 书生浦语第四节课作业
通过对比原模型的能力来看看差异，可以看到在没有进行我们数据的微调前，原模型是能够输出有逻辑的回复，并且也不会认为他是我们特有的小助手。因此我们可以很明显的看出两者之间的差异性。接着进行模型转换，转换完成后，可以看到模型被转换为 Huggingface 中常用的 .bin 格式文件，这就代表着文件成功被转化为 Huggingface 格式了。但是网页版的我一直加载不出来，不知道为什么.....根据文档指示可以训练自己的小助手，训练结果如下。与模型进行对话测试，可以看到模型已经严重过拟合。
2024-04-14 22:03:54
101
1
原创 书生浦语第三节课作业
对于RAG来说，则会在调用的数据库对问题进行块检索，检索出一些相似度高的片段，然后将用户的问题和生成的文本共同输给生成模块，生成模块将这些问题和文本作为提示词然后给出一个合适的回答，在此，模型对问题的回答来源于调用的数据库，对于一些新闻或者高等知识，我们只需要不断更新这个数据库即可将大模型的生成能力和数据库很好的结合在一起，无需任何模型训练就可以得到满意的答案。嵌入优化，索引优化，查询优化，上下文管理，迭代检索，递归检索，自适应检索，LLM微调。的相关模块，默认嵌入和重排序模型调用的网易。
2024-04-09 21:50:24
400
原创 书生浦语第二节课作业
可选作业里huggingface下载功能用不了开发机做，我的本地电脑的显卡也带不起来，所以我就没做啦。接下来和课程教的一样，打开6006链接。在share中找到相关的模型文件。软链接需要把7b改为1_8b。参考课程4.3的步骤。
2024-04-01 11:33:20
72
原创 书生浦语第二期第一节笔记
包括Compasskit：大模型评测全栈工具链，Compassrank：中立全面的性能榜单，CompassHub：高质量评测基准社区。专用模型：针对特定任务，一个模型解决一个问题。通用大模型：一个模型应对多种任务，多种模态。5.突出的数理能力和实用的数据分析功能。是贴心又可靠的AI助手：帮助制定计划。强大的内生计算能力：提高计算准确度。充满人文关怀的对话：解决个人内耗。实用的数据分析功能：帮助解读代码。富有想象力的创作：提供思维灵感。工具调用能力升级：完成复杂任务。代码解释器：求解数学问题。
2024-03-31 13:26:12
106
原创 安装mmseg时报的错即解决办法
是因为在pip install -U openmim没有安装成功，虽然pip list里面有openmim的存在，但是依然无法使用这个命令，我的是环境变量路径问题，参考了如下帖子。总之很多报错都是各种包的版本问题，包括python的版本，我用的3.10的python真的会与很多库不兼容...TT。我第一遍装的时候没注意，结果装是装上了但是报错了，然后我就把这两个删掉，重新安装了版本。看起来很简单的安装，真的步步报错，安装的时候真的很崩溃...版本不对之后的mmcv包是一直会报错的，折腾到崩溃。
2024-03-29 10:44:50
456
1
原创 git命令总结（自用防止忘记，不断完善中）
1.git clone +ssh地址：将GitHub上的代码克隆到本地。4.git push命令将更改的代码从本地传到GitHub上。3.在代码管理器中对代码进行暂存后提交更改，并备注信息。2.在本地对代码进行更改。
2024-03-24 21:05:35
217
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人