- 博客(12)
- 收藏
- 关注
RSS订阅原创 InternLM 闯关笔记
InternLM 闯关笔记入门岛第1关 Linux 基础知识第2关 Python 基础知识第3关 Git 基础知识基础岛进阶岛彩蛋岛
2024-07-11 18:59:08
150
原创 VScode无法Debug(调试)进入标准库文件/第三方包源码，即使设置了“justMyCode“: false
v1.90.0版本bug回滚到以前的版本：https://code.visualstudio.com/updates/v1_89。
2024-06-13 11:00:12
179
原创 InternLM c2
Lagent 是一个轻量级、开源的基于大语言模型的智能体（agent）框架，支持用户快速地将一个大语言模型转变为多种类型的智能体，并提供了一些典型工具为大语言模型赋能。它的整个框架图如下:
2024-06-02 12:03:58
997
原创 Internlm2 书生·浦语大模型 C1
InternLM2提出条件在线的RLHF（Conditional OnLine RLHF，COOL RLHF）方法，通过引入条件奖励机制来调和多样化的偏好，让奖励模型可以根据特定条件动态地将注意力分配给不同的偏好，并采用多轮在线RLHF策略使模型可以快速适应新的人类反馈，减少奖励欺骗发生。模型包括1.8B、7B和20B三个规模，训练数据大于2T Tokens，采用AdamW优化器，其参数设置为β1、β2和ϵ分别为0.9、0.95和1e−8，权重衰减为0.1，采用余弦学习率衰减策略，下降到其最大值的10%。
2024-05-30 14:33:06
578
原创 InternLM-class6
本算法库的主要评测对象为语言大模型与多模态大模型。我们以语言大模型为例介绍评测的具体模型类型。基座模型：一般是经过海量的文本数据以自监督学习的方式进行训练获得的模型（如OpenAI的GPT-3，Meta的LLaMA），往往具有强大的文字续写能力。对话模型：一般是在的基座模型的基础上，经过指令微调或人类偏好对齐获得的模型（如OpenAI的ChatGPT、上海人工智能实验室的书生·浦语），能理解人类指令，具有较强的对话能力。
2024-01-21 06:21:23
835
原创 InternLM-class5
将 FP16 的模型权重量化为 INT4，Kernel 计算时，访存量直接降为 FP16 模型的 1/4，大幅降低了访存成本。逐 Token（Decoding）生成过程中的上下文 K 和 V 中间结果进行 INT8 量化（计算时再反量化），以降低生成过程中的显存占用。主要包括 KV Cache 量化和模型参数量化，一种以参数或计算中间结果精度下降换空间节省（以及同时带来的性能提升）的策略。模型推理/服务-----Client前端------API Server。量化后的模型完成API服务的部署。
2024-01-15 20:14:26
928
1
原创 InternLM-class2
web_demo.py 中 .style(container=false) 加入 gr.Textbox(container=false)
2024-01-07 00:00:17
329
原创 InternLM-class1
6. 工具调用类项目：结合 Lagent 构建数据集训练 InternLM 模型，支持对 MMYOLO 等工具的调用。# [书生·浦语大模型](https://github.com/InternLM/tutorial)2. 基于 InternLM 和 LangChain 搭建知识库。5. OpenCompass 大模型评测解读及实战指南。3. XTuner 大模型单卡低成本微调实战。4. LMDeploy 大模型量化部署实践。1. 书生·浦语大模型趣味Demo。
2024-01-06 23:48:13
359
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人