- 博客(6)
- 收藏
- 关注
RSS订阅原创 OpenCampass大模型测评（大模型实战训练营第六节笔记和作业）
大模型的测评是非常重要的，对于普通用户来说，测评能够让我们更好的了解模型的特色能力和实际效果。对于开发者而言，测评能够让我们监控模型能力的变化，从而指导优化模型生产。当然除了人工以外，还能调用一些能力比较强的模型，比如说GPT4来判断的话也是很ok的。我们可以选择的模型包括自己的模型、Huggingface上的开源模型以及API接入的模型。包括传统NLP的内容，那大模型所有评测的其实会更多，所有的能力都是可以进行评测的。那评测的数据集我们不仅仅可以用已有的数据集，还可以把自己的评测数据集也放上去。
2024-01-22 10:23:25
502
原创 LMDeploy 大模型量化部署实践（实战训练营第五节课笔记作业）
模型在放到本地或者云端API推理前是需要先转化为TurboMind格式，支持在线和离线转换，只不过在线的需要连接到HuggingFace，所以没翻墙的情况下尽量用离线版本的。其实这里做的就是完成量化部署工作，然后让模型可以在终端可以进行对话测试。那假如我们想在本地的gradio连接API的服务，其实可以参考lmdeploy里servce gradio的内容。- LMDeploy：其特色就是创新的Turbomind，并且有很好的性能。当然我们其实不上传的API在本地也可以推理，这个更简单一点。
2024-01-19 10:07:12
415
1
原创 XTuner 大模型单卡低成本微调实战（书生浦语实战训练营第四期笔记和作业）
但是问题就是自己在没有高质量数据集的时候得到的效果往往是非常差的，对于数据层面上需要做到大量的工作去实现，而且真正去学习微调的话最重要还是要回归到数据层面，并且更多的去尝试去炼丹才能知道怎么是好的。假如你的dataset是json而不再是文件夹的话也要像下面一样修改，然后dataset_map_fn是在你的格式是有system, user, assistant的情况下才要改，假如你的是OpenAssistant的格式的话不用修改。我们就可以将收集到的数据以这样一个格式无限量的丢进去，让其能够很好的输出。
2024-01-12 15:25:52
1509
原创 轻松玩转书生·浦语大模型趣味 Demo（实战训练营第二课笔记）
在所有任务开始前其实都需要的就是环境配置并且下载相关的模型，然后其实我们就能够下载github上的源码并调用web_demo.py（其实就是通过Transformer库实现），并将内部路径转为本地路径即可。- InternLM其实是一个开源模型训练的框架，能够支持上千个GPU集群的预训练工作。- 而Lagent是一个轻量级开源的agent框架，能够支持多种类型智能体，从而发挥InternLM的性能。- 浦语灵笔则是基于书生浦语大模型研发的语言视觉大模型，有着强大的图文理解和创作能力。
2024-01-05 15:03:08
483
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人