- 博客(12)
- 收藏
- 关注
RSS订阅原创 在autodl平台使用llama-factory微调Qwen1.5-7B
“output”: “尽管我们相聚的时光有限，但是相聚的意义在于创造美好的回忆和珍贵的关系。相聚让我们感受到彼此的关怀、支持和友情。最重要的是，相聚能够带给我们真实的人际交往和情感交流，让我们感受到生活的丰富和美好。“output”: “尽管我们相聚的时光有限，但是相聚的意义在于创造美好的回忆和珍贵的关系。最重要的是，相聚能够带给我们真实的人际交往和情感交流，让我们感受到生活的丰富和美好。 “input”: “天下没有不散的筵席，那么我们相聚的意义又是什么”,
2024-05-01 22:11:05
2765
1
原创 书生·浦语训练营：第七讲 OpenCompass大模型评测笔记
1、研究评测对于全面了解大语言模型的优势和限制至关重要，大语言模型真实理解还是死记硬背极大的反映出大语言模型的能力，需要评测才能知道。2、模型评测有助于指导和改进人类与大语言模型的协同交互。有助于更好的设计人机交互的新范式。3、研究评测有助于更好的规划大语言模型未来的发展，预防未知和潜在的风险。4、研究评测有助于研究人员和用户更好的了解语言模型之间的性能、舒适性、安全性，更好的选择合适的模型。
2024-04-24 14:57:02
903
原创 书生·浦语训练营：第六讲 Lagent & AgentLego 智能体应用搭建（作业部分）
继承 BaseAction 类实现简单工具的 run 方法；或者实现工具包内每个子工具的功能简单工具的 run 方法可选被 tool_api 装饰；工具包内每个子工具的功能都需要被 tool_api 装饰step 1.配置环境step 2.利用Lagent创建工具文件import os@tool_api"""一个天气查询API。可以根据城市名查询天气信息。
2024-04-24 12:46:41
353
原创 书生·浦语训练营 第四讲：Xtuner微调（作业部分）
step 1.配置环境安装相关依赖、从源码安装XTunerstep 2.数据集准备根据教程，循环生成了10000次自我认知数据。step 3.模型准备作业使用了 InterLM2-Chat-1.8B 进行认知小助手微调。step 4.选择合适的配置文件XTuner中写好了用于定义和控制模型训练和测试过程的各个方面的参数和设置的工具。根据实际使用的数据集、模型将配置文件修改成自己需要的形式。step 5.模型训练step 6.模型转换。
2024-04-24 12:16:24
975
原创 书生·浦语训练营：第六讲 Lagent & AgentLego 智能体应用搭建 笔记
可以感知环境中的动态条件。能采取动作影响环境。能运用推理能力理解信息、解决问题、产生推断、决定动作。继承 BaseAction 类实现简单工具的 run 方法；或者实现工具包内每个子工具的功能简单工具的 run 方法可选被 tool_api 装饰；工具包内每个子工具的功能都需要被 tool_api 装饰下面我们将实现一个调用和风天气 API 的工具以完成实时天气查询的功能。step 1.自定义 Lagent 工具import os@tool_api"""一个天气查询API。
2024-04-23 14:29:43
816
原创 书生·浦语训练营 第四讲：Xtuner微调 笔记
LLM微调是一个将预训练模型在较小、特定数据集上进一步训练的过程，目的是精炼模型的能力，提高其在特定任务或领域上的性能。微调的目的是将通用模型转变为专用模型，弥合通用预训练模型与特定应用需求之间的差距，确保语言模型更贴近人类的期望。回顾第一讲中提到从模型到应用的典型流程如下：根据项目目标使用环境进行模型选型，如果业务场景需求比较复杂就需要进行模型微调，根据算力是否充足可以选择模型的全参数微调或部分参数微调。
2024-04-19 14:25:37
853
1
原创 书生·浦语训练营：第五讲 LmDeploy 量化部署 笔记
生成式模型的推断流程是将当前轮输出 token 与之前轮次的输入tokens拼接，并作为下一轮的输入tokens，反复多次。可以看出第 i+1 轮输入数据只比第 i 轮输入数据新增了一个 token，其他全部相同。因此第 i+1 轮推理时必然包含了第 i 轮的部分计算。KV Cache的出发点就是缓存当前轮可重复利用的计算结果，下一轮计算时直接读取缓存结果。在自回归编码的过程中Q值用完就可以丢弃，无需缓存Q。对于 Mistral，KV-cache为每层的每个 key 存储 8 个 128 元素向量，
2024-04-19 11:22:45
1962
1
原创 第三讲：茴香豆：搭建你的RAG智能助理（作业）
（茴香豆会智能归纳你上传的文档的内容，但是有时候还是识别不了你的问题，这时候茴香豆就会拒答，告诉你 LLM API 没给回复。可以通过调整阈值从而调整茴香豆的拒答率，并且可以更换模型，或混合使用模型。step3. 点击查看或上传文件（支持 pdf/word/markdown/excel/ppt/html/txt 格式）。step4. 设置正反例，让茴香豆积极回答或者拒绝回答。1. 在茴香豆 Web 版中创建自己领域的知识问答助手。step2. 输入知识库名称并设置一个密码，点击前往。
2024-04-12 21:24:34
360
原创 书生·浦语训练营：第三讲 茴香豆：搭建你的RAG智能助理 笔记
检索增强生成 (Retrieval-Augmented Generation, RAG)是一种结合了检索和生成的技术，旨在通过利用外部数据库来大幅度提升LLM的性能，它通过语义相似性检索与用户输入信息相关的片段，并结合这些信息来生成更加准确、更加丰富的回答。
2024-04-12 21:00:20
630
原创 书生·浦语训练营：第二讲 轻松玩转书生·浦语大模型趣味 Demo 笔记
（Windows 即开始菜单键）打开指令界面，并输入命令，按下回车键。（Mac 用户打开终端即可）提示要求输入password，将刚才复制好的密码输入即可。打开开发机页面，点击ssh连接，记下端口号和密码。进入Terminal，输入下面命令配置虚拟环境。在Terminal中执行下面命令，下载模型文件。填写开发机名称后，点击 选择镜像 使用。环境配置完成之后，进入虚拟环境demo。创建好开发机之后，点击进入开发机。的选项，然后立即创建开发机器。，创建开发机并配置开发机系统。镜像，然后在资源配置中，使用。
2024-04-07 11:35:53
1920
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人