- 博客(8)
- 收藏
- 关注
RSS订阅原创 书生·浦语(InternLM)-训练营-笔记作业合集
书生·浦语(InternLM)-openLesson-1-学习笔记-CSDN博客书生·浦语(InternLM)-openLesson-2-学习笔记-CSDN博客书生·浦语(InternLM)-openLesson-3-学习笔记-CSDN博客书生·浦语(InternLM)-openLesson-4-学习笔记-CSDN博客书生·浦语(InternLM)-openLesson-5-学习笔记-CSDN博客书生·浦语(InternLM)-openLesson-6-学习笔记-CSDN博客书生·浦语(InternLM)-
2024-02-17 16:41:45
167
原创 书生·浦语(InternLM)-openLesson-课后作业
基础作业截图：进阶作业截图：基础作业截图：由于开发机最大可用资源为A100 (1/2) 40G显存，全量评测会如上图所示显存溢出，因此调整opencompass/configs/datasets/ceval/ceval_gen_5f30c7.py脚本，减少一次评测的样本，最终得到internlm2-chat-7b的评测结果如下：
2024-02-17 00:32:27
246
原创 书生·浦语(InternLM)-openLesson-6-学习笔记
本算法库的主要评测对象为语言大模型与多模态大模型。我们以语言大模型为例介绍评测的具体模型类型。基座模型：一般是经过海量的文本数据以自监督学习的方式进行训练获得的模型（如OpenAI的GPT-3，Meta的LLaMA），往往具有强大的文字续写能力。对话模型：一般是在的基座模型的基础上，经过指令微调或人类偏好对齐获得的模型（如OpenAI的ChatGPT、上海人工智能实验室的书生·浦语），能理解人类指令，具有较强的对话能力。
2024-02-16 19:30:25
882
原创 书生·浦语(InternLM)-openLesson-5-学习笔记
4bit Weight 量化，将 FP16 的模型权重量化为 INT4，Kernel 计算时，访存量直接降为 FP16 模型的 1/4，大幅降低了访存成本。然后尝试用lmdeploy的torch版进行8bit模型转换，成功转换为了8bit模型，但是推理仍然失败了，老师给出的原因还是triton对P40的支持问题。或者，也有可能量化后的模型正好对某些数据集具有更好的性能。首先我们需要明白一点，服务部署和量化是没有直接关联的，量化的最主要目的是降低显存占用，主要包括两方面的显存：模型参数和中间过程计算结果。
2024-02-16 19:24:00
827
原创 书生·浦语(InternLM)-openLesson-3-学习笔记
llm.predict("你是谁")构建检索问答链，还需要构建一个 Prompt Template，该 Template 其实基于一个带变量的字符串，在检索之后，LangChain 会将检索到的相关文档片段填入到 Template 的变量中，从而实现带知识的 Prompt 构建。# 我们所构造的 Prompt 模板template = """使用以下上下文来回答用户的问题。如果你不知道答案，就说你不知道。总是使用中文回答。问题: {question}可参考的上下文：···{context}
2024-02-15 17:16:39
953
原创 书生·浦语(InternLM)-openLesson-2-学习笔记
本人学习过程中使用的平台为：UCloud-8C64G-TeslaP40。相比于课程提供的平台主要限制在于P40不支持FP16、不支持INT4，虽然支持INIT8运算，但是就目前的经验来看P40的INT8对于triton编程的支持情况存在一些问题。前四节课程影响较小，第 5 节课程-LMDeploy 大模型量化部署实践，模型转8bit成功，但是推理时失败，将会在第5节课程的笔记中给出详细报错信息，欢迎大家一起探讨。
2024-02-15 13:20:15
357
原创 书生·浦语(InternLM)-openLesson-1-学习笔记
通用大模型的地位上升与其解决问题的能力“强相关”。其强大的表示能力使其能够处理复杂的语境和抽象特征，实现一个模型应对多种任务、多种模态的目标。同时，大语言模型的相关技术给予了我们“自定义模型”的可能，即预训练和迁移学习。这两种技术让大模型能够在不同领域中学到通用特征，提高了效率且促进了任务之间的知识传递，无形中淘汰了很多领域的“专用模型”。
2024-02-15 11:26:01
199
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人