Momosaki的博客

针对具有确定性答案的能力维度和场景，通过构造丰富完善的评测集，对模型能力进行综合评价。针对体现模型能力的开放式或半开放式的问题、模型安全问题等，采用主客观相结合的评测方式。文档：https://github.com/InternLM/Tutorial/blob/camp2/opencompass/readme.md。客观评测用定量指标比较模型的输出与标准答案以进行评测，主管评测则是用高性能的大模型模拟人类进行主观打分。实现对internlm2-chat-1_8b模型在C-Eval数据集上的性能评测。

三种常见的智能体范式Lagent和AgentLego介绍server启动# 比如 export WEATHER_API_KEY=1234567890abcdef。

个人感觉LMDeploy和XTuner都是非常实用的工具，不过LMDeploy更偏向应用层面。大模型部署大多都是把训练好的模型部署到本地或者服务器上，但是大模型部署一般对资源要求比较高。pipeline.py内容修改kv cache内存占比，并把模型改为w4a16量化后的模型。显然，internlm2-chat-1_8b也回答不上来是更喜欢爸爸还是更喜欢妈妈。主要介绍了大模型的部署背景、大模型部署方法，并且简单介绍了LMDeploy。很显然internlm2-chat-1_8b-4bit也不太喜欢读研。

xtuner确实方便，几条指令就能直接开始训练了，而且支持使用自己的数据集，比我之前自己做qlora微调方便了非常多，而且config文件也写得很清楚明了，不用花很多时间去理解，一看就懂，还是很方便的。xtuner支持在终端直接与Huggingface格式的模型进行对话，可以测试整合后的模型的性能，真的好方便……将 /root/ft/web_demo/InternLM/chat/web_demo.py中的内容替换为以下的代码。指令获取xtuner支持的模型及对应的微调方式。指令可获得指定模型的配置文件名。

⚠️ 重要事项： 如果不用 https 安全链接，需要。否则知识库登录会异常。运行算法pipeline。

在终端运行以下命令，实现从官方环境复制运行InternLM的基础环境，并命名为InternLM2_Huixiangdou。⚠️ 重要事项： 如果不用 https 安全链接，需要。的相关模块，默认嵌入和重排序模型调用的网易。否则知识库登录会异常。数据库向量化的过程应用到了。运行算法pipeline。

【代码】【作业】【书生·浦语大模型实战营】第2节。

完成后修改lagent下example/internlm2_agent_web_demo_huf.py文件，修改后如下所示。若使用Huggingface_hub下载相关文件，可使用huggingface_hub包。进入所创建的文件夹，在download_mini.py文件中输入以下内容并保存。若使用书生·浦语的开发机，则可使用share文件夹中的模型资源。在cli_demo.py中输入以下内容并保存。完成后在终端执行命令以下载模型参数文件。执行Demo，并等待模型加载完成。下载完成后执行以下命令下载程序。

并重新配置矩阵布局，对每个头部的k、q、v矩阵采用交错的方法以便于张良并行大小的调整，可以沿着矩阵的最后一个维度拆分或链接矩阵，从而增强模型在不同分布式计算环境中的灵活性。背景：大模型已经成为发展通用人工智能的重要途径，从21世纪初到2021年，相关研究集中于针对特定任务的专用模型，近年来相关研究更多倾向于通用大模型，即一个模型应对多种任务和模态，如ChatGPT等。总结了InternLM2的主要贡献，包括模型的开源、在长文本性能方面的设计、数据准备指导以及创新的RLHF训练技术。全方位评测，性能可复现。