AI大模型全栈工程师课程笔记 - RAG 检索增强生成

已于 2023-12-08 21:45:57 修改
阅读量534 收藏 3
点赞数 1
分类专栏： AI应用 文章标签： 人工智能 RAG 向量数据库 LLM emdedding
于 2023-12-08 21:43:29 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_21201267/article/details/134682271
版权

课程学习自 知乎知学堂 https://www.zhihu.com/education/learning

如果侵权，请联系删除，感谢！

文章目录

1. RAG

RAG（Retrieval Augmented Generation），通过检索获取一些信息，传给大模型，提高回复的准确性。

一般流程：

  • 离线步骤：文档加载切片 -> 向量化 -> 存入向量数据库
  • 在线步骤：用户提问 -> 向量化 ->检索 -> 组装提示词 -> LLM -> 输出回复

2. 构建流程

相关环境

pip install pdfminer.six  # pdf解析
pip install openai -U  # openai-1.3.7

2.1 文档加载与切分

import pathlib
def extract_text_from_pdf(filename, page_numbers=None, min_line_length=1):
    '''从 PDF 文件中（按指定页码）提取文字'''
    paragraphs = []
    buffer = ''
    full_text = ''
    # 提取全部文本
    for i, page_layout in enumerate(extract_pages(filename)):
        # 如果指定了页码范围，跳过范围外的页
        if page_numbers is not None and i not in page_numbers:
            continue
        for element in page_layout:
            if isinstance(element, LTTextContainer):
                full_text += element.get_text() + '\n'
    # 按空行分隔，将文本重新组织成段落
    lines = full_text.split('\n')
    for text in lines:
        if len(text) >= min_line_length:
            buffer += (' ' + text) if not text.endswith('-') else text.strip('-')
        elif buffer:
            paragraphs.append(buffer)
            buffer = ''
    if buffer:
        paragraphs.append(buffer)
    return paragraphs

paragraphs = extract_text_from_pdf(pathlib.Path(__file__).parent.absolute() / "llama2.pdf", min_line_length=10)

2.2 传统检索引擎

  • 安装 ElasticSearch
pip install elasticsearch8
pip install nltk

from elasticsearch8 import Elasticsearch, helpers
from nltk.stem import PorterStemmer
from nltk.tokenize import word_tokenize
from nltk.corpus import stopwords
import nltk
import re

import warnings
warnings.simplefilter("ignore") #屏蔽 ES 的一些Warnings

nltk.download('punkt') # 英文切词、词根、切句等方法
nltk.download('stopwords') # 英文停用词库

def to_keywords(input_string):
    '''（英文）文本只保留关键字'''
    # 使用正则表达式替换所有非字母数字的字符为空格
    no_symbols = re.sub(r'[^a-zA-Z0-9\s]', ' ', input_string)
    word_tokens = word_tokenize(no_symbols)
    stop_words = set(stopwords.words('english'))
    ps = PorterStemmer()
    # 去停用词，取词根
    filtered_sentence = [ps.stem(w) for w in word_tokens if not w.lower() in stop_words]
    return ' '.join(filtered_sentence)
  • 切分文档存入 Es
# 1. 创建Elasticsearch连接
es = Elasticsearch(
    hosts=['http://localhost:9200'],  # 服务地址与端口
    # http_auth=("elastic", "*****"),  # 用户名，密码
)

# 2. 定义索引名称
index_name = "string_index"

# 3. 如果索引已存在，删除它（仅供演示，实际应用时不需要这步）
if es.indices.exists(index=index_name):
    es.indices.delete(index=index_name)

# 4. 创建索引
es.indices.create(index=index_name)

# 5. 灌库数据
actions = [
    {
        "_index": index_name,
        "_source": {
            "keywords": to_keywords(para),
            "text": para
        }
    }
    for para in paragraphs
]

# 6. 批量存储Es
helpers.bulk(es, actions)
  • 关键字检索
def search(es, index_name, query_string, top_n=3):
    # ES 的查询语言
    search_query = {
        "match": {
            "keywords": to_keywords(query_string)
        }
    }
    res = es.search(index=index_name, query=search_query, size=top_n)
    return [hit["_source"]["text"] for hit in res["hits"]["hits"]]

results = search(es, "string_index", "how many parameters does llama 2 have?", 2)
for r in results:
    print(r + "\n")

搜索llama2有多少参数，找到了相关的文档，输出：

Llama 2 comes in a range of parameter sizes—7B, 13B, 
and 70B—as well as pretrained and fine-tuned variations.

1. Llama 2, an updated version of Llama 1, trained on a new mix of publicly available data. 
We also increased the size of the pretraining corpus by 40%, doubled the context length of the model, and adopted grouped-query attention (Ainslie et al., 2023). 
We are releasing variants of Llama 2 with 7B, 13B, and 70B parameters. We have also trained 34B variants, which we report on in this paper but are not releasing.§

2.3 LLM接口封装

from openai import OpenAI
import os
# 加载环境变量
from dotenv import load_dotenv, find_dotenv
_ = load_dotenv(find_dotenv('../utils/.env'))  # 读取本地 .env 文件，里面定义了 OPENAI_API_KEY

client = OpenAI(
    api_key=os.getenv("OPENAI_API_KEY"),
    base_url=os.getenv("OPENAI_API_BASE")
)

def get_completion(prompt, model="gpt-3.5-turbo"):
    '''封装 openai 接口'''
    messages = [{"role": "user", "content": prompt}]
    response = client.chat.completions.create(
        model=model,
        messages=messages,
        temperature=0,  # 模型输出的随机性，0 表示随机性最小
    )
	return response.choices[0].message.content

2.4 构建prompt

def build_prompt(prompt_template, **kwargs):
    '''将 Prompt 模板赋值'''
    prompt = prompt_template
    for k, v in kwargs.items():
        if isinstance(v,str):
            val = v
        elif isinstance(v, list) and all(isinstance(elem, str) for elem in v):
            val = '\n'.join(v)
        else:
            val = str(v)
        prompt = prompt.replace(f"__{k.upper()}__",val)
    return prompt

prompt_template = """
    你是一个问答机器人。
    你的任务是根据下述给定的已知信息回答用户问题。
    确保你的回复完全依据下述已知信息。不要编造答案。
    如果下述已知信息不足以回答用户的问题，请直接回复"我无法回答您的问题"。

    已知信息:
    __INFO__

    用户问：
    __QUERY__

    请用中文回答用户问题。
    """

user_query = "how many parameters does llama 2 have?"

# 1. 检索
search_results = search(es, "string_index", user_query, 2)

# 2. 构建 Prompt
prompt = build_prompt(prompt_template, info=search_results, query=user_query)
print("===Prompt===")
print(prompt)

# 3. 调用 LLM
response = get_completion(prompt)
print("===回复===")
print(response)

提示词如下：
在这里插入图片描述
GPT输出：

Llama 2有7B、13B和70B三种参数大小的变体。

传统的关键字检索，对同一个语义的不同描述，可能检索不到结果

3. 向量检索

  • 把一个词句映射到 n 维空间的一个向量
  • 构建句对（相似和不相似），训练双塔式模型 https://www.sbert.net
  • 向量相似度：
    余弦距离dot(a, b)/(norm(a)*norm(b))
    欧式距离 norm(np.asarray(a)-np.asarray(b))

向量化

def get_embeddings(texts, model="text-embedding-ada-002"):
    '''封装 OpenAI 的 Embedding 模型接口'''
    data = client.embeddings.create(input = texts, model=model).data
    return [x.embedding for x in data]
test_query = ["测试文本"]
vec = get_embeddings(test_query)
print(vec[0][:10])  # 1536 维向量  [-0.0072620222344994545, -0.006227712146937847, -0.010517913848161697, 0.001511403825134039, -0.010678159072995186, 0.029252037405967712, -0.019783001393079758, 0.0053937085904181, -0.017029697075486183, -0.01215678546577692]

4. 向量数据库

# pip install chromadb

import chromadb
from chromadb.config import Settings


class MyVectorDBConnector:
    def __init__(self, collection_name, embedding_fn):
        chroma_client = chromadb.Client(Settings(allow_reset=True))

        # 为了演示，实际不需要每次 reset()
        chroma_client.reset()

        # 创建一个 collection
        self.collection = chroma_client.get_or_create_collection(name="demo")
        self.embedding_fn = embedding_fn

    def add_documents(self, documents, metadata={}):
        '''向 collection 中添加文档与向量'''
        self.collection.add(
            embeddings=self.embedding_fn(documents),  # 每个文档的向量
            documents=documents,  # 文档的原文
            ids=[f"id{i}" for i in range(len(documents))]  # 每个文档的 id
        )

    def search(self, query, top_n):
        '''检索向量数据库'''
        results = self.collection.query(
            query_embeddings=self.embedding_fn([query]),
            n_results=top_n
        )
        return results

paragraphs = extract_text_from_pdf(pathlib.Path(__file__).parent.absolute() / "llama2.pdf", page_numbers=[2, 3], min_line_length=10)

# 创建一个向量数据库对象
vector_db = MyVectorDBConnector("demo", get_embeddings)
# 向向量数据库中添加文档
vector_db.add_documents(paragraphs)

user_query = "Llama 2有多少参数"
results = vector_db.search(user_query, 2)  # 查询最相似的2个

for para in results['documents'][0]:
    print(para+"\n")

主流向量数据库
在这里插入图片描述

  • FAISS: Meta开源的向量检索引擎 https://github.com/facebookresearch/faiss
  • Pinecone: 商用向量数据库，只有云服务 https://www.pinecone.io/
  • Milvus: 开源向量数据库，同时有云服务 https://milvus.io/ （选项全都是Y）
  • Weaviate: 开源向量数据库，同时有云服务 https://weaviate.io/
  • Qdrant: 开源向量数据库，同时有云服务 https://qdrant.tech/
  • PGVector: Postgres的开源向量检索引擎 https://github.com/pgvector/pgvector
  • RediSearch: Redis的开源向量检索引擎 https://github.com/RediSearch/RediSearch
  • ElasticSearch 也支持向量检索 https://www.elastic.co/enterprise-search/vector-search

5. 基于向量检索的RAG

class RAG_Bot:
    def __init__(self, vector_db, llm_api, n_results=2):
        self.vector_db = vector_db
        self.llm_api = llm_api
        self.n_results = n_results
        
    def chat(self, user_query):
        # 1. 检索
        search_results = self.vector_db.search(user_query,self.n_results)
        
        # 2. 构建 Prompt
        prompt = build_prompt(prompt_template, info=search_results['documents'][0], query=user_query)
        
        # 3. 调用 LLM
        response = self.llm_api(prompt)
        return response

# 创建一个RAG机器人
bot = RAG_Bot(
    vector_db,
    llm_api=get_completion
)

user_query="llama 2有多少参数？"
response = bot.chat(user_query)
print(response)  # Llama 2有7B、13B和70B参数的变体。

可以替换其他的 embedding、LLM

# pip install sentence_transformers
from sentence_transformers import SentenceTransformer
model = SentenceTransformer('BAAI/bge-large-zh-v1.5')
query_vec = model.encode(query, normalize_embeddings=True)

不是每个 Embedding 模型都对 余弦距离 和 欧氏距离 同时有效
哪种相似度计算有效要阅读模型的说明（通常都支持余弦距离计算）

6. 进阶知识

6.1 文本分割粒度

  • 太大，检索不精准，太小，信息不全
  • 问题的答案跨越两个片段

改进方法：

  • 按一定粒度，部分重叠式的切割文本，使上下文更完整

6.2 检索后再排序

最合适的答案，有时候不一定排在检索结果的最前面

  • 检索的时候，多召回一些文本
  • 再用排序模型对 query 和 召回的 doc 进行打分排序
user_query="how safe is llama 2"
search_results = semantic_search(user_query,5) # 召回文档

model = CrossEncoder('cross-encoder/ms-marco-MiniLM-L-6-v2', max_length=512)
scores = model.predict([(user_query, doc) for doc in search_results['documents'][0]])
# 按得分排序
sorted_list = sorted(zip(scores,search_results['documents'][0]), key=lambda x: x[0], reverse=True)
for score, doc in sorted_list:
    print(f"{score}\t{doc}\n")

6.3 测试

  • 检查预处理，文档是否切分合理
  • 问题检索，是否能召回正确答案文档
  • 大模型根据包含正确答案的信息，能否正确回答
Michael阿明
关注
专栏目录
AI全栈大模型工程师(二)课程大纲
Maynor的博客
10-16 959
AI 大模型基础介绍 | 对大模型有直观的、基础的了解，以展开后续课程学习 | 大模型最基础的原理 | 搞定环境搭建和工具的使用 | 大模型并不神奇，也不神秘 | | Prompt Engineering | 操纵大模型的基础方法 | 让 prompt 更大概率生效的原理 | 使用 prompt 和调用 OpenAI API
人工智能_大模型013_AIGC生成式模型的增强检索_RAG知识补充检索_补充私域和实时场景知识_关键字检索增强---人工智能工作笔记0149
添柴程序猿的专栏
03-02 277
可以看到RAG的过程是,当我们左侧给他一个文档以后,可以看到,文档内容会进入到一个我们构建的向量知识库,然后当我们提问的时候左侧Llama2可以商用嘛?什么是RAG,RAG的意思就是,如果一套生成式AIGC大模型,你昨天训练了以后,那么今天的知识,还没有给他进行训练,那么回答的时候,他就会遗漏今天的知识,那么我们就可以通过检索的手段,把今天的知识,检索出来,然后补充道prompt中,给这个大模型.让他参考,这样就包含了今天的知识相当于实时了就.会说到向量检索,位向量检索,设计的数据库,然后实现RAG系统.
神仙级AI大模型入门教程(非常详细)，从零基础入门到精通，从看这篇开始！
程序猿赵高的博客
05-10 7977
坚持到了这儿，恭喜你，表示你有做AI大模型工程师的潜力。其实我想说的上面的内容只是冰山一角，刚开始大家不需要多么精通了解这些内容。主要是不断练习，让自己跳出「舒适区」，进入「学习区」，但是又不进入「恐慌区」，不断给自己「喂招」。记住，学习是一个持续的过程。大模型技术日新月异，每天都有新的研究成果和技术突破。要保持对知识的渴望，不断学习最新的技术和算法。同时，实践是检验学习成果的最佳方式。通过实际项目实践，你将能够将理论知识转化为实际能力，不断提升自己的技术实力。最后，不要忘记与同行交流和学习。
全方位指南：从零基础到实战精通，大模型学习教程全面解析！
2401_84204207的博客
07-15 1262
2023年大西洋彼岸的OpenAi公司，AI大模型，正在构建的颠覆力，为了更好的入局AI大模型，，包含🔻 压缩技术中，为什么量化要优于剪枝、蒸馏？🔻 如何搜索裁剪阈值用于裁剪outlier？🔻 包含有异常值outlier的特征如何量化？🔻 模型剪枝的技术背景🔻 模型剪枝具体方法🔻 模型剪枝前沿方法🔻 语言模型剪枝实例🔻 AI作画–以文生图🔻 扩散模型是什么🔻 扩散模型工作拓展🔻 扩散模型带来的机遇🔻 RLHF的优点和挑战🔻 RLHF如何改善大模型性能🔻 RLHF的实际应用案例。
大模型部署工具 llama.cpp 介绍与安装使用
youmaob的博客
04-07 6871
另外一个是量化，量化是通过牺牲模型参数的精度，来换取模型的推理速度。llama.cpp 提供了大模型量化的工具，可以将模型参数从 32 位浮点数转换为 16 位浮点数，甚至是 8、4 位整数。训练的过程，实际上就是在寻找模型参数，使得模型的损失函数最小化，推理结果最优化的过程。训练完成之后，模型的参数就固定了，这时候就可以使用模型进行推理，对外提供服务。大模型时代，企业对人才的需求变了，AIGC相关岗位人才难求，薪资持续走高，AI运营薪资平均值约。llama.cpp 提供了模型量化的工具。
AI大模型基础入门（非常详细）零基础入门到精通，收藏这一篇就够了
leah126的博客
05-28 2688
一、介绍随着人工智能技术的迅猛发展，AI大模型在各个领域中展现出了巨大的潜力和应用价值。近年来，诸如GPT-4、BERT等大型语言模型（Large Language Models, LLMs）成为了学术界和工业界的热点话题。这些大模型不仅在自然语言处理（Natural Language Processing, NLP）领域取得了突破性进展，还在计算机视觉、医疗健康、金融科技等多个领域中广泛应用，显著提升了各类智能系统的性能和智能化水平。AI大模型的崛起与深度学习和神经网络技术的发展密不可分。
30节AI大模型系列课 | 手把手带你从入门到实战
idol24的博客
01-08 936
2023年大西洋彼岸的OpenAi公司，首次向世界吹响「大模型主导未来世界变革」的号角。国内科技公司也加入了这场AI变革，从百度的「文心一言」、阿里巴巴的「通义千问」、华为的「盘古大模型」，阿里巴巴的「通义千问」等，世界正在被科技语言，不断的刷新与迭代，目前，人类已经来到由「有理有表的语言训练」为核心的大模型时间。AI大模型，正在构建的颠覆力，为了更好的入局AI大模型，这次我特意复盘和整理大模型学...
『大模型笔记』检索增强生成(RAG)：从理论到LangChain实践
AI新视界
02-29 316
检索增强生成（RAG）是一个概念，它旨在为大语言模型（LLM）额外补充一些 外部知识。它的作用是能让模型生成更准确、更贴近上下文的答案，并减少幻觉。
人工智能_大模型015_RAG量化检索增强002_AIGC大模型_本地知识库实时问答_私域和实时场景_量化检索增强---人工智能工作笔记0151
添柴程序猿的专栏
03-02 260
然后再把这两个向量,输出给cosine-sim模型,再把结果,输出一下,如果这两个句子相近,那么在空间距离上,就让这两个空间夹角趋近于1,如果两个语义不一样,就让这两个句子,空间夹角趋近于0。关键词检索有语义上的缺陷,因为我们说法不一样,但是意思一样的话,那么,关键词如果在es库中没有,那么会导致,找不到答案的情况.所以我们引出向量检索,要求语义一样的词,去检索都能找到答案.然后假如是2维的,可以看到在右边,红点,那么这几个句子,对应的在,2维空间中的距离,因为他们语义相近,那么距离肯定越近.
【AI大模型应用开发】RAG-Fusion框架：忘掉 RAG，未来是 RAG-Fusion
最新发布
同学小张的博客
09-24 51
RAG目前很火，但是也有一些不足的地方。有不足就有改进方法。本文我们来看一个方法：RAG-Fusion，理解其原理，并看一下其实现源码。
RAG Paper List - 检索增强生成论文汇总(1)
丨汀、的博客
08-28 183
RAG Paper List - 检索增强生成论文汇总(1)
AI浪潮来袭，5门精选课程带你入门AI大模型
Focus on Lakehouse
02-22 304
OpenAI 创始人 Sam Altman 说，“通用人工智能（AGI）已经离我们不远了”。当下，人工智能成了新时代的必修课，每个人都需要一些 AI 知识来升级自己，才能与时代同行。为了帮助大家更好地掌握AI技术，今天特别推荐几门全面、系统的AI课程。AI大模型之美这门课程就是要把新一代 AI 应用开发的方法和机会分享给你。无论你是产品经理还是工程师，乃至于 IT 行业之外的业务人员，都值得...
飞浆AI studio人工智能课程学习（1）-大模型时代&优质Prompt
Medlar_CN的博客
05-17 1603
飞浆AI studio人工智能课程学习（1）-大模型时代&优质Prompt
第十章：AI大模型的学习与进阶10.1 学习资源与途径10.1.2 在线课程与讲座
AI天才研究院
01-10 386
1.背景介绍 随着人工智能技术的发展，AI大模型已经成为了研究和应用的重要组成部分。这些大模型通常需要大量的计算资源和数据来训练，因此学习和进阶需要掌握一定的知识和技能。在线课程和讲座是学习AI大模型的一个重要途径，可以帮助学习者更好地理解和应用这些技术。 在本章中，我们将介绍一些在线课程和讲座的学习资源，以及它们在学习AI大模型方面的优
元壤教育“AIGC大模型应用开发工程师”课纲，学习这套课程就够了
孔壹学院
08-30 1256
AIGC大模型时代是堪比移动互联网时代10倍体量的机会，所有企业都需要通过AIGC重塑一遍，对于IT人士来说，AIGC大模型应用开发更是大机会，大转折，开始拥抱AIGC吧
AI大模型入门基础教程（非常详细），AI大模型入门到精通，收藏这一篇就够了！
程序猿赵高的博客
06-11 1033
AI大模型，简而言之，是基于深度学习技术的庞大规模数据与计算能力孕育出的智能模型。这些模型的特别之处在于它们不仅参数量级的庞大，常常跨越亿计，而且在处理复杂度上也远超乎想象。正是这种规模和复杂性，使得它们在诸如自然语言理解、图像识别、语音识别等领域展现出卓越的准确性和泛化的处理能力，几乎可比拟的泛化应用范围。
从理论到实践：AI大模型学习路线，提升核心竞争力，看这篇就够了
EnjoyEDU的博客
05-11 2533
大模型，通常指的是在人工智能领域中的大型预训练模型。你可以把它们想象成非常聪明的大脑，这些大脑通过阅读大量的文本、图片、声音等信息，学习到了世界的知识。这些大脑（模型）非常大，有的甚至有几千亿个参数，这些参数就像是大脑中的神经元，它们通过复杂的计算来理解和生成语言、图片等。举个例子，你可能听说过GPT-3，它就是一个非常著名的大模型。GPT-3可以通过理解你提出的问题，然后给出回答，或者根据你给它的提示，生成一篇文章、一个故事，甚至是一段代码。
AI大模型入门终极教程（非常详细），AI大模型入门到精通，收藏这一篇就够了！
2401_85373898的博客
07-03 1061
在人工智能（AI）技术日新月异的今天，大模型作为该领域的璀璨明珠，正引领着技术革新的浪潮，成为推动社会进步与产业升级的关键力量。这些大模型凭借其卓越的数据处理效能与深邃的模式识别能力，在自然语言处理、计算机视觉、智能推荐等多个维度上展现出非凡的潜力，为各行各业铺设了通往智能化转型的康庄大道。随着大模型技术的普及与应用深化，企业对相关人才的需求急剧增长，尤其是AIGC（人工智能生成内容）领域的高端人才更是供不应求，薪资水平持续攀升。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Michael阿明

如果可以，请点赞留言支持我哦！

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值