书生大模型实战营-基础岛 第4关

最新推荐文章于 2024-09-15 15:29:29 发布
最新推荐文章于 2024-09-15 15:29:29 发布
阅读量182 收藏
点赞数 3
文章标签： 人工智能 算法
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Jonhpaul/article/details/141506824
版权
  • 任务要求：基于 LlamaIndex 构建自己的 RAG 知识库，寻找一个问题 A 在使用 LlamaIndex 之前InternLM2-Chat-1.8B模型不会回答，借助 LlamaIndex 后 InternLM2-Chat-1.8B 模型具备回答 A 的能力，截图保存。

环境配置

包括Llamaindex、Sentence Transformer 、NLTK等

未经过RAG结果

经过RAG后结果

web端实现RAG界面化

xtuner是什么？

Jonhpaul
关注
书生大模型实战营-基础岛第四关 Llamaindex RAG实践
sty0213的博客
08-09 129
书生大模型实战营-基础岛第五关 XTuner 微调个人小助手认知
sty0213的博客
08-09 162
为了让模型能够认清自己的身份弟位，在询问自己是谁的时候按照我们预期的结果进行回复，我们就需要通过在微调数据集中大量加入这样的数据。我们准备一个数据集文件。为了简化数据文件准备，我们也可以通过脚本生成的方式来准备数据。微调相当于重新训练出来一个额外的层，我们要将模型文件合并。下面我们对模型进行微调，让模型认识到自己是谁。的方式来微调一个自己的认知模型。然后执行该脚本来生成数据文件。，文件内容为对话数据。
书生大模型实战营-入门岛-第1关-Linux基础知识
m0_62025408的博客
07-20 418
其中“-n”指设置环境名称，将“name”替换为你需要设置的环境名即可，结尾处的“python=3.10”用于设置python版本，如不指定则使用最新的版本。在平台中已经给出了SSH连接的相关连接代码和对应的密码，在windows端，可以直接使用PowerShell,在其中输入代码和对应的密码，可以完成链接。此外，建议使用vscode进行连接，安装“Remote - SSH”扩展，并在左侧TAB栏完成相应的链接，即可完成SSH链接。利用给出的邀请码注册新的InternStudio平台，并创建新的开发机。
书生大模型实战营-入门岛-第3关
weixin_45725137的博客
07-15 180
【代码】书生大模型实战营-入门岛-第二关。
8.15 书生大模型实战营-基础岛2 -玩转书生大模型Demo作业
zjzjsuus的博客
08-15 1039
学习使用LMDeploy对模型进行部署使用，并启动gradio服务！
8.17 书生大模型实战营-基础岛4 -InternLM+LlamaIndex RAG 实践作业
zjzjsuus的博客
08-18 1112
1. 模型幻觉对于一些大模型不知道的知识，大模型可能会胡乱生成，并且试图让其看起来合理！2. 过时知识大模型本身在训练时，是一次性训练，因此采用的是过去的知识。当我们想要一些最新的知识时，大模型回答不了3. 缺乏透明和可追溯的推理过程大模型在生成回答时，可能答案是正确的，但是并不能展现大模型本身的一个推理过程，RAG的技术可以帮助我们追溯推理过程（对于这个点有点疑惑如图所示，由于xtuner是一款比较新的框架，训练数据库中并没有收录到它的相关信息。左图中问答均未给出准确的答案。右图未对。
书生大模型实战营（第3期）入门岛第2关Python基础知识
aman_he的博客
08-01 838
书生大模型实战营（第3期）入门岛第2关Python基础知识
8.22 书生大模型实战营-基础岛5 - XTuner 微调个人小助手认知作业
zjzjsuus的博客
08-22 651
LoRA（Low-Rank Adaptation）是一种使用低精度权重对大型预训练语言模型进行微调的技术，它的核心思想是在不改变原有模型权重的情况下，通过添加少量新参数来进行微调。这种方法降低了模型的存储需求，也降低了计算成本，实现了对大模型的快速适应，同时保持了模型性能。然而，由于使用了低精度权重，LoRA的一个潜在的缺点是在微调过程中可能会丢失一些原始模型的高阶特征信息，因此可能会降低模型的准确性。
书生大模型实战营基础岛-第四关：XTuner微调个人小助手认知
weixin_57128596的博客
08-02 715
微调（fine-tuning）是一种基于预训练模型，通过少量的调整（fine-tune）来适应新的任务或数据的方法。微调是在预训练模型的基础上，将模型中一些层的权重参数进行微调，以适应新的数据集或任务。预训练模型部分已经在大规模数据上得到了训练，它们通常是较为通用且高性能的模型，因此可以很好地作为新任务的起点。微调可以加快模型的收敛速度，降低模型过拟合的风险，并在不消耗过多计算资源的情况下获取较好的模型性能。（欢迎Star）！XTuner 一个大语言模型&多模态模型微调工具箱。
书生浦语大模型实战课 第二课作业（更新）
04-04
### 书生浦语大模型实战课程第二课作业解析与技术难点详解 #### 一、课程背景概述 在书生浦语大模型实战课程中，第二课主要涉及模型的部署与调试过程。本次作业旨在通过实际操作加深学员对模型部署流程的理解，并...
书生浦语大模型实战课（第二期） 第二课作业
04-04
### 书生浦语大模型实战课（第二期）第二课作业知识点总结 #### 一、使用Powershell配置端口及权限问题处理 在学习过程中，遇到的第一个问题是在使用Powershell配置端口时出现问题，尝试修改端口号并复制密码，但...
书生·浦语大模型第二课
03-04
根据提供的信息，“书生·浦语大模型第二课”似乎是指一次课程或者教学活动的内容，主要涉及“浦语大模型”的相关内容。虽然提供的信息较为有限，但从这些线索中，我们可以推测出这可能是一次关于自然语言处理（NLP...
【AI大模型】Kimi API大模型接口实现
最新发布
qq_25888559的博客
09-15 806
Kimi智能助手在效率（免费榜）排名从2024年1月14日的第436名提升至3月19日的第11名。而尚未上线的GPT-4.5 Turbo上下文窗口指定为25.6万个token，能同时处理约20万个单词，Kimi升级后，长文本能力为其10倍。在2023年10月初次亮相时，该模型的处理能力还仅有约20万汉字。2024年3月18日，月之暗面宣布Kimi智能助手启动200万字无损上下文内测。
生成式人工智能在新加坡的发展现状和地位
wukangjupingbb的博客
09-11 1089
依据国际隐私专业人员协会(IAPP)的相关报告，2020年，上述两机构更新了该模型框架，发布了第二版，并推出了《组织实施和自我评估指南》，帮助组织评估其人工智能治理实践与型框架的匹配程度，还发布了《案例汇编》，展示了组织如何实施负责任的人工智能治理实践。2019年，金融管理局宣布与金融行业合作创建Veritas框架，为金融机构提供可验证的方法，将FEAT原则纳入其人工智能和数据分析驱动的解决方案中。新加坡在人工智能治理方面采取了部门性的方法，即通过各个行业的监管机构来管理人工智能的使用。
从AI到大数据，数字技术服务平台全栈赋能企业升级
smjt2024的博客
09-11 640
海量的数据中蕴含着丰富的信息和价值，数字技术服务平台能够收集、整理和分析这些数据，为企业提供精准的市场洞察和决策支持。企业可以通过参加树莓集团举办的培训课程和研讨会，了解最新的数字技术趋势和应用案例，提升自身的数字技术水平。从技术咨询、解决方案设计到系统实施和运维，数字技术服务平台为企业提供一站式的服务，让企业无需担心技术难题，专注于自身的核心业务。树莓集团的数字技术服务平台，以其先进的技术、专业的服务和丰富的经验，为企业提供了全栈赋能。在数字时代，让我们共同利用数字技术服务平台，开启企业升级的新篇章。
Djourney新手入门基础，AI摄影+AI设计+AI绘画-AIGC作图
DAMOXINGHAITAI的博客
09-14 895
（全套教程文末领取哈）从大模型系统设计入手，讲解大模型的主要方法；在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用；大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统；大模型知识库应用开发以LangChain框架为例，构建物流行业咨询智能问答系统；大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型；以SD多模态大模型为主，搭建了文生图小程序案例；以大模型平台应用与开发为主，通过星火大模型，文心大模型等成熟大模型构建大模型行业应用。
常见本地大模型个人知识库工具部署、微调及对比选型
09-14 838
由于作者的眼界、精力和能力也有限，并且确实也不是专业的AI研究员，仅仅是一位兴趣使然的爱好者，这里列出的几款也单纯只是作者平常关注到的，所以可能也不全，请各位见谅！文章从起笔写到这里已经过了三天了，这三天也基本把上文提到的大模型侧工具全部体验了一遍，下面说一下主要结论吧。从功能丰富度和性能优化的角度综合评估，LM Studio明显更胜一筹。从工具本身使用及模型部署效率来看，Ollama的上手速度会更快，使用会更便捷，效率也会更高。从企业级稳定性和高可用。
中伟视界：皮带跑偏检测算法及其实现模型和判断方法
yinweicai的专栏
09-13 1549
皮带输送机的跑偏检测技术，包括图像处理算法、机器学习模型和物联网技术的应用，详细阐述了各类判断方法及实际案例，强调实时监测和高精度检测的优势，提高了生产效率和安全管理水平。
书生浦语大模型实战课：解决配置与端口问题
"书生浦语大模型实战课的第二课作业中，学员们通过视频教程进行学习，但在实际操作中遇到了一系列问题，包括端口配置、权限不足、端口被占用以及URL无法打开等。这些问题主要围绕SSH免密登录和端口占用问题展开。在...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值