- 博客(4)
- 收藏
- 关注
RSS订阅原创 书生浦语实战营 第六次课基础作业
有脏东西把我的conda环境里吗的pytorch和torchaudio的版本搞乱了，导致在本地运行会出错，这一部分我们还是在开发机中做吧。现在看看如果能少倒腾一些本地环境的事情，说不定我早都做完了。使用LMDeploy启动7B模型的api_server。简单和它聊聊，多截了一点图，证明是我自己做的。启动 Lagent Web Demo。很顺利，在开发机里真的太好操作了。
2024-04-25 12:01:38
286
1
原创 书生浦语实战营 课程四基础作业
本地部署失败了，模型总是学不到知识，为了结营，先把基础作业用开发机做了吧。好家伙，在开发机里确实训出来了，我回头得研究一下本地的问题究竟出在哪里。感觉生成的数据和本地的没什么区别，不知道为什么本地的跑不通。怎么在开发机里面这么慢。训练前的eval的结果目前和本地是一样的。笔记写完了，回头和进阶作业一起发知乎。把算力ID截图进去证明是自己做的。感觉开发机的CPU性能不足啊。
2024-04-25 10:49:11
156
原创 书生浦语实战营 课程一作业
大模型本质上是在做语言建模这件事情，给定context，预言接下来的token。因此训练的数据很重要。很多的idea其实不难想，但是如何得到相关的数据是一个很大的问题。在接下来的课程中需要关注构建智能体时如何调用外部的API或者工具，大模型怎么知道什么时候该调用API。对于预训练来说，这个步骤我应该是不需要接触了，因为肯定都是从别人预训练好的模型基座上进行开发。，我已经尝试过了，其提供的4bit量化功能，以及加速推理的方案真的很nice。InternLM2是全链条开源的，这给了我一个很好的学习机会。
2024-04-25 10:33:27
806
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人