- 博客(7)
- 收藏
- 关注
RSS订阅原创 internLM训练营第四课
根据调整参数的多少，分为full finetuning;根据是否自监督，分为指令跟随微调（有监督）；预训练微调（自监督）两种微调模型：1 增量预训练、2 指令微调。
2024-01-19 16:07:44
324
1
原创 internLM第三课作业
选择一个垂直领域，收集该领域的专业资料构建专业知识库，并搭建专业问答助手，并在。感觉加上rag之后的模型能力变弱了，什么都不会了。复现课程知识库助手搭建过程 (截图)上成功部署（截图，并提供应用地址）
2024-01-10 21:59:17
372
1
原创 internLM训练营第三课
rag：成本低，可以实时更新；但受基座模型性能影响，占用大量上下文。finetune：用新数据集进行参数微调，新模型更适应数据集。finetune：充分拟合个性化数据；rag：外挂知识库。
2024-01-10 20:46:04
374
原创 internLM第二课作业
然后使用hf_hub_download()下载所需的文件：（感觉hf有点像百度网盘）下载前需要参考q&a配置hf镜像站：https://hf-mirror.com/
2024-01-09 00:12:22
352
原创 internLM训练营第一课
增量续训（文章书籍代码）、有监督微调（问答数据、高质量对话）中量级：20B，达到llama2-70b水平。大模型成为发展通用人工智能的重要途径。opendatalab：开放数据平台。通用：一个模型多种任务、多种模态。xtuner：8gb微调7b模型。轻量级：internLM-7B。专用模型vs通用模型。
2024-01-03 23:21:00
401
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人