（22-3-02）基于RAG的法律法规解析系统（Llama3+Langchain+ChromaDB）：构建欧盟人工智能法案问题的RAG(2)

码农三叔

已于 2024-05-28 21:14:10 修改

阅读量1.1k

点赞数 19

分类专栏：《NLP算法实战》大模型从入门到实战(数据集、训练、RAG、多模态) 文章标签： langchain 人工智能搜索引擎 NLP 大模型自然语言处理 Llama3

于 2024-05-28 21:12:15 首次发布

本文链接：https://blog.csdn.net/asd343442/article/details/139278099

版权

大模型从入门到实战(数据集、训练、RAG、多模态) 同时被 2 个专栏收录

187 篇文章 3 订阅 ¥39.90 ¥99.00

订阅专栏

超级会员免费看

《NLP算法实战》

127 篇文章 19 订阅

订阅专栏

11.4.3 创建RAG并测试

（1）创建一个向量数据库（Vector Database）实例，具体方法是使用类Chroma从文档分割中创建一个数据库，并将文档的嵌入（embeddings）存储在这个数据库中。

vectordb = Chroma.from_documents(documents=all_splits, embedding=embeddings, persist_directory="chroma_db")

执行后会输出：

Batches: 100% 26/26 [00:05<00:00, 7.85it/s]

（2

了解本专栏

订阅专栏解锁全文

超级会员免费看

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

码农三叔

关注关注

19
点赞
踩
30

收藏

觉得还不错? 一键收藏
打赏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录

订阅专栏

（22-3-01）基于RAG的法律法规解析系统（Llama3+Langchain+ChromaDB）：构建欧盟人工智能法案问题的RAG(1)

码农三叔

05-28

1034

这个PDF 文件可以用于构建检索增强生成（RAG）系统中的检索组件，例如，可以将文档被分割成更小的块，然后转换为向量并存储在向量数据库中，如 ChromaDB，以便于快速检索。分割后的文本块可以用于构建检索增强生成（RAG）系统中的检索组件，例如将它们转换为向量并存储在向量数据库中，以便于快速检索和生成与查询相关的回答。构建本RAG系统的基本步骤如下所示。（2）检索器（Retriever）：实现一个检索器，它能够理解用户的查询并将它与向量数据库中的文档进行匹配，以检索出相关的文档片段。

MLU370-M8 快速跑通 llama3-8B

xiaojunjun200211的博客

04-19

775

MLU370运行llama3-8b

参与评论您还未登录，请先登录后发表或查看评论

部署llama3时出现RuntimeError: “triu_tril_cuda_template“ not implemented for ‘BFloat16‘报错

zwhszdx的博客

07-28

1564

部署llama3时出现RuntimeError: "triu_tril_cuda_template" not implemented for 'BFloat16'报错

ChatGLM2-6B笔记

jk123vip的专栏

07-06

1248

ChatGLM2-6B笔记

attention_mask，pad_token_id报错

ph12345687的博客

03-01

5212

The attention mask and the pad token id were not set. As a consequence, you may observe unexpected behavior. Please pass your input's `attention_mask` to obtain reliable results.Setting `pad_token_id` to `eos_token_id`:151643 for open-end generation.

（22-1）基于RAG的法律法规解析系统（Llama3+Langchain+ChromaDB）：背景介绍+项目介绍

码农三叔

05-27

1249

随着人工智能技术的快速发展，法律法规在适应新兴技术方面的挑战日益增加。特别是在欧洲，对于人工智能技术的规范和监管尤为重视，欧盟人工智能法案（EU AI Act）的提出正是为了解决这一问题。然而，法律文件通常内容复杂、篇幅庞大，且涉及专业术语，这给法律专业人士、政策制定者、技术开发者以及普通公民理解和应用这些法律带来了困难。在这样的背景下，利用人工智能技术来解析和理解法律法规文本成为一个迫切的需求。

（22-2）基于RAG的法律法规解析系统（Llama3+Langchain+ChromaDB）：准备模型

码农三叔

05-27

1010

通过这种方式，代码不仅能够生成对特定主题的深入查询的答案，而且还能够以一种格式化和视觉友好的方式展示这些信息，提高了信息的可读性和吸引力。通过这种方式，不仅展示了如何准备一个用于NLP任务的模型，还提供了一种衡量加载时间的方法，这对于性能分析和优化是很有帮助的。（3）加载模型：使用 transformers.AutoModelForCausalLM.from_pretrained 方法加载预训练的因果语言模型（Causal Language Model，简称CLM），该模型通常用于生成文本或续写文本。

RAG-基于LangChain+ChatGLM-6B+本地知识库搭建的RAG智能问答系统-附项目源码+流程教程-优质项目实战

07-30

RAG_基于LangChain+ChatGLM-6B+本地知识库搭建的RAG智能问答系统_附项目源码+流程教程_优质项目实战

使用 LLaMA Factory 微调 Llama-3 中文对话模型

张伟的专栏

04-22

1548

请申请一个免费 T4 GPU 来运行该脚本。

【大模型从入门到精通19】开源库框架LangChain LangChain文档加载器1

kaggle expert，全球排名前1000，清华计算机研究生，兴趣算法工程

08-13

1237

在数据驱动的应用领域，特别是涉及对话界面和大型语言模型（LLM）的应用中，从各种来源高效加载、处理并与数据进行交互的能力至关重要。这些加载器擅长处理来自公共源的数据，如 YouTube、Twitter 和 Hacker News，同时也适用于来自专有源的数据，如 Figma 和 Notion。保存清洗后的文本：可选地，脚本可以将清洗和分词后的文档文本保存到文件中。这个扩展的代码提供了一个更全面的示例，展示如何从加载和清洗文本到基本分析和处理特殊情况，对 PDF 文档进行程序化的处理。

【AI大模型】Kimi API大模型接口实现

qq_25888559的博客

09-15

1047

Kimi智能助手在效率（免费榜）排名从2024年1月14日的第436名提升至3月19日的第11名。而尚未上线的GPT-4.5 Turbo上下文窗口指定为25.6万个token，能同时处理约20万个单词，Kimi升级后，长文本能力为其10倍。在2023年10月初次亮相时，该模型的处理能力还仅有约20万汉字。2024年3月18日，月之暗面宣布Kimi智能助手启动200万字无损上下文内测。

使用c#制作一个小型桌面程序

qq_44691564的博客

09-14

981

创建.NET Framework新项目，将之前生成的dll放在Demo文件夹的bin ->debug或是 release中（看你自己用的什么模式），创建完成后系统会自动生成一些文件，其中 pch.cpp 先不要修改，pch.h中先导入自己需要用到的库，下面是我的代码。布局完了之后会自动生成Form1.Designer.cs 的窗口设计代码，点击控件按F4 还可以修改他们的属性。完成之后点击生成就可以在bin中出现的你的.exe文件咯，是不是很简单呀~[狗头]我们还需要一个入口主程序。

生成式人工智能在新加坡的发展现状和地位

wukangjupingbb的博客

09-11

1154

依据国际隐私专业人员协会(IAPP)的相关报告，2020年，上述两机构更新了该模型框架，发布了第二版，并推出了《组织实施和自我评估指南》，帮助组织评估其人工智能治理实践与型框架的匹配程度，还发布了《案例汇编》，展示了组织如何实施负责任的人工智能治理实践。2019年，金融管理局宣布与金融行业合作创建Veritas框架，为金融机构提供可验证的方法，将FEAT原则纳入其人工智能和数据分析驱动的解决方案中。新加坡在人工智能治理方面采取了部门性的方法，即通过各个行业的监管机构来管理人工智能的使用。

开源 AI 智能名片链动 2+1 模式 O2O 商城小程序在社群活动中的应用与时机选择

最新发布

专注MarTech应用研究与实施方案

09-17

547

本文探讨了开源 AI 智能名片链动 2+1 模式 O2O 商城小程序在社群经济中的重要性，着重分析了如何借助该小程序适时举办大型活动以维持和引爆社群活跃度。通过对活动时机选择的研究，强调了针对社群用户量身定制活动时机的必要性，以赢得用户的高度参与。

opencv学习：calcHist 函数绘制图像直方图及代码实现

mohanyelong的博客

09-13

1499

opencv学习：calcHist 函数绘制图像直方图及代码实现

Djourney新手入门基础，AI摄影+AI设计+AI绘画-AIGC作图

DAMOXINGHAITAI的博客

09-14

1004

（全套教程文末领取哈）从大模型系统设计入手，讲解大模型的主要方法；在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用；大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统；大模型知识库应用开发以LangChain框架为例，构建物流行业咨询智能问答系统；大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型；以SD多模态大模型为主，搭建了文生图小程序案例；以大模型平台应用与开发为主，通过星火大模型，文心大模型等成熟大模型构建大模型行业应用。

从AI到大数据，数字技术服务平台全栈赋能企业升级

smjt2024的博客

09-11

680

海量的数据中蕴含着丰富的信息和价值，数字技术服务平台能够收集、整理和分析这些数据，为企业提供精准的市场洞察和决策支持。企业可以通过参加树莓集团举办的培训课程和研讨会，了解最新的数字技术趋势和应用案例，提升自身的数字技术水平。从技术咨询、解决方案设计到系统实施和运维，数字技术服务平台为企业提供一站式的服务，让企业无需担心技术难题，专注于自身的核心业务。树莓集团的数字技术服务平台，以其先进的技术、专业的服务和丰富的经验，为企业提供了全栈赋能。在数字时代，让我们共同利用数字技术服务平台，开启企业升级的新篇章。

RAG - 使用 langchain

02-28

RAG（Retrieval-Augmented Generation）是一种基于检索的生成模型，它结合了检索和生成两种方法，用于生成有关特定主题的文本。RAG模型使用了一个预训练的语言模型（如GPT）和一个检索模型（如DPR），通过在生成过程中引入检索结果来提高生成文本的质量和相关性。 langchain是一个开源项目，它提供了一个用于构建RAG模型的框架。它使用了Hugging Face的transformers库和DPR库，使得构建和训练RAG模型变得更加简单和高效。使用langchain构建RAG模型的一般步骤如下： 1. 准备数据集：收集相关的文本数据集，并将其转换为适合训练RAG模型的格式。 2. 预训练语言模型：使用transformers库中的预训练语言模型（如GPT）对文本数据进行预训练。 3. 训练检索模型：使用DPR库中的检索模型对文本数据进行训练，以便在生成过程中能够有效地检索相关文本。 4. 构建RAG模型：使用langchain框架将预训练的语言模型和训练好的检索模型组合起来，构建RAG模型。 5. 微调RAG模型：使用特定任务的数据集对RAG模型进行微调，以提高生成文本的质量和相关性。 6. 应用RAG模型：将微调后的RAG模型应用于特定的应用场景，如问答系统、文本摘要等。