大模型
文章平均质量分 76
Notes of Large language models
Kinno酱
学无止境,继续努力。
展开
-
书生浦语训练营第三次课笔记:XTuner 微调 LLM:1.8B、多模态、Agent
在不同量级的模型上,训练速度都是比LLaMa-Factory显著的更快与LLaMa-Factory相比,同样是LLaMa2 70B超大参数量的模型,在不同的数据长度下,Xtuner的表现也是比LLaMa-Factory更好XTunner对性能优化和显存优化做的更好!原创 2024-05-05 23:19:06 · 363 阅读 · 0 评论 -
书生浦语训练营二期第三次作业
检索过程中,茴香豆会将输入问题与两个列表中的问题在向量空间进行相似性比较,判断该问题是否应该回答,避免群聊过程中的问答泛滥。确定的回答的问题会利用基础模型提取关键词,在知识库中检索 top K 相似的 chunk,综合问题和检索到的 chunk 生成答案。提取知识库特征,创建向量数据库。数据库向量化的过程应用到了 LangChain 的相关模块,默认嵌入和重排序模型调用的网易 BCE 双语模型,如果没有在 config.ini 文件中指定本地模型路径,茴香豆将自动从 HuggingFace 拉取默认模型。原创 2024-04-08 04:27:05 · 675 阅读 · 1 评论 -
书生·浦语训练营二期第三次笔记-茴香豆:搭建你的 RAG 智能助理
复制完成后,在本地查看环境。结果如下所示。原创 2024-04-08 01:14:15 · 763 阅读 · 1 评论 -
书生·浦语训练营二期第二次课后作业
使用 Hugging Face 官方提供的 huggingface-cli 命令行工具。以下内容将展示使用 huggingface_hub 下载模型中的部分文件。新建 python 文件,填入以下代码,运行即可。原创 2024-04-04 03:06:00 · 448 阅读 · 0 评论 -
书生·浦语训练营二期第二次笔记
查看该环境内已安装的包conda list。原创 2024-04-01 22:40:06 · 357 阅读 · 0 评论 -
书生·浦语训练营二期第一次笔记
先前的评测方案是做多选题,模型可能存在猜测的因素。而循环评测是对选项进行轮换,只有在能够答对所有轮换的选项后才能说明它的回答是正确的。我们能利用书生·浦语的框架,完整的开发属于自己的大模型应用。相对于第一期,InternLM2增加了Lagent和AgentLego。InternLM2:在Base基础上,在多个能力进行了强化,更优秀的基座模型。InternLM2-Chat:在Base基础上,再经过SFT和RLHF对齐后的对话模型。InternLM2-Base:高质量、强可塑性的基座模型。原创 2024-03-31 01:01:33 · 390 阅读 · 0 评论 -
Transformers for Machine Learning: A Deep Dive阅读笔记
给定一个实数向量Zz1z2zKZz1z2...zK,其中KKKSoftmaxziezi∑j1KezjSoftmaxzi∑j1Kezjezi对于向量ZZZ中的每一个元素ziz_izi,Softmax函数首先计算ezie^{z_i}ezi,即ziz_izi的指数。然后,将这个指数除以所有元素指数的总和。原创 2024-03-24 21:40:11 · 759 阅读 · 0 评论 -
书生浦语训练营笔记与作业汇总
课程笔记:第一节:https://blog.csdn.net/qq_37397652/article/details/135532014第二节:https://blog.csdn.net/qq_37397652/article/details/135533226第三节:https://blog.csdn.net/qq_37397652/article/details/135586700第四节:https://blog.csdn.net/qq_37397652/article/details/135原创 2024-01-31 03:04:53 · 409 阅读 · 0 评论 -
【第六课课后作业】大模型评测
确保按照上述步骤正确安装 OpenCompass 并准备好数据集后,可以通过以下命令评测 InternLM-Chat-7B 模型在 C-Eval 数据集上的性能。由于 OpenCompass 默认并行启动评估过程,我们可以在第一次运行时以。模式下,任务将按顺序执行,并实时打印输出。模式启动评估,并检查是否存在问题。原创 2024-01-25 18:56:32 · 399 阅读 · 0 评论 -
书生·浦语大模型实战营-学习笔记6
可以基于正则表达式的方式,提取模型的回答,只要在模型的回答中提取到北京这个关键词,就认为模型在客观上答对了这道题。就可以去统计所有题目在客观上的准确率,这样是客观评测的方式。另一种对模型进行评测的方式:可以使用Prompt Enginnering方法测试模型对Prompt的敏感性。同一个问题有多种问法,有多种Prompt的表达方式,预期模型在这5种问题下的回答都是一样的,都能答对。如果只是简单的换了一种Prompt的问法,模型就答错了的话,说明模型的鲁棒性很差。https://github原创 2024-01-24 06:23:13 · 454 阅读 · 0 评论 -
【第五课课后作业】LMDeploy 的安装、量化和部署
LMDeploy 的安装、量化和部署基础作业启动Turbomind本地服务启动Gradio和ApiServer服务运行Gradio客户端,输入“讲一个300字的睡前故事”进阶作业原创 2024-01-23 19:20:32 · 390 阅读 · 0 评论 -
书生·浦语大模型实战营-学习笔记5
轻量化、推理引擎、服务。原创 2024-01-23 19:03:13 · 449 阅读 · 0 评论 -
【第四课课后作业】XTuner大模型单卡低成本微调实战
安装完后,就开始搞搞准备工作了,创建工作路径。(准备在 oasst1 数据集上微调 internlm-7b-chat)原创 2024-01-23 17:45:50 · 606 阅读 · 0 评论 -
书生·浦语大模型实战营-学习笔记4
【代码】书生·浦语大模型实战营-学习笔记4。原创 2024-01-20 18:26:44 · 508 阅读 · 0 评论 -
【第三课课后作业】基于 InternLM 和 LangChain 搭建你的知识库
创建开发机进入 conda 环境之后,使用以下命令从本地一个已有的的环境,激活环境,在环境中安装运行 demo 所需要的依赖。原创 2024-01-20 16:40:22 · 409 阅读 · 0 评论 -
书生·浦语大模型实战营-学习笔记3
如何快速高效的开发RAG应用?开发者可以直接将私域数据嵌入LangChain中的组件,通过将这些组件进行组合,生成适合来构建适用于自己业务场景的RAG应用对于以本地文档形式存在的个人知识库,会使用组建来加载本地文档,这个组件会将不同格式的本地文档统一转换为纯文本格式;然后使用对提取出来的纯文本进行分割成Chunk,再通过开源词向量模型将文本段转换为向量格式,存储到基于Chroma的向量数据库VectorDB中。接下来,对于用户的每一个输入Query,会首先通过。原创 2024-01-15 01:02:10 · 1095 阅读 · 0 评论 -
【第二课课后作业】书生·浦语大模型实战营-轻松玩转书生·浦语大模型趣味Demo
上述两个模型对于基础知识、人文知识的回答表现较好,对专业知识的回答表现较弱。图文并茂生成的图片直接复制于互联网与某些大学或者研究机构的课件(猜测),因此生成的图文并茂推文若用于商用的话可能会存在版权问题。原创 2024-01-13 04:48:26 · 1128 阅读 · 0 评论 -
书生·浦语大模型实战营-学习笔记2
目录轻松玩转书生·浦语大模型趣味Demo1. 大模型及 InternLM 模型介绍2. InternLM-Chat-7B 智能対话 Demo3. Lagent 智能体工具调用 Demo4. 浦语•灵笔图文创作理解 Demo5. 通用环境配置6. 课后作业视频地址:(2)轻松玩转书生·浦语大模型趣味Demo文档教程:https://github.com/InternLM/tutorial/blob/main/helloworld/hello_world.md轻松玩转书生·浦语大模型趣味Demo原创 2024-01-11 20:11:59 · 539 阅读 · 0 评论 -
书生·浦语大模型实战营-学习笔记1
这套全链路开放体系是我见到国内最全面的大模型体系框架,个人认为,这套框架能给国内的大模型科研人员提供实验平台,减少科研人员在部署环境上花费的时间。这次视频中介绍了由上海人工智能实验室OpenMMLab开发的大模型全链路体系框架,框架涵盖了大模型的生命周期中数据集构建、预训练、微调、部署、评测到应用的所有会用到的功能。原创 2024-01-11 16:19:49 · 525 阅读 · 0 评论