0-1实战大模型RAG实战

麻辣排骨面

已于 2024-09-04 17:22:23 修改

阅读量404

点赞数 3

文章标签：人工智能大数据开源自然语言处理语言模型 chatgpt

于 2024-08-30 16:36:35 首次发布

本文链接：https://blog.csdn.net/ytt0523_com/article/details/141721691

版权

「写在前面」

如果把大模型的应用比喻成一种没有监考老师没有规定形式的考试，提示词工程像是考试现场告诉你从什么角度用什么套路和什么方式答题，微调像是考试前拼命刷题记背答案反复记忆，而RAG则像是考试前把目录背下来，现场翻书。

这一章对模型是否没什么要求，所以，可以直接上手撸。

「设计思路」

找几篇文章
根据文章内容生成摘要
根据摘要建立索引库
根据用户问题匹配索引文献
将索引到的文献结合用户问题组成新问题
将组成的新问题交给大模型并要求结合文献作答
将大模型回答的结果返回给用户

「要素构建」

拿来主义！AI帮我出下内容吧。

他甚至熟练地直接给出了简述，emmmmmm熟练地让人心疼，不知道是谁训练出来的。

那么，我就不客气啦！

拿来主义第二弹，请给我喂成现成的数据谢谢！！

拿来主义第三弹～，那prompt也给了吧（🤔）

「代码编写」

本来想用ai直接生成代码，发现生成的不对，懒得调了直接开撸。

话不多说，直接挂代码。

（网上依赖langchain实现的一抓一大把，嘿嘿，小陈我就偏不用langchain，给外部依赖拉到最低，所以没有选择拿来主义，手撸超级无敌极简版本呜呜呜呜，求路过的好心人们点点关注）

import chromadb``from transformers import AutoModel, AutoTokenizer``   ``# RAG提示词``doc_prompt = '''`    `从文档`    `"""`    `{{知识}}`    `"""`    `中找问题`    `"""`    `{{问题}}`    `"""`    `的答案，找到答案就仅使用文档语句回答问题，找不到答案就用自身知识回答并且告诉用户该信息不是来自文档。`    `不要复述问题，直接开始回答。``'''``   ``stories = [`   `"在一个寒冷的雨天，小男孩看到一只湿透的小猫在街角颤抖。他毫不犹豫地脱下自己的外套，裹在小猫身上，然后带着它回家。小猫在男孩的照顾下渐渐康复，成为了他们家庭的一员。",`   `"小女孩在商店捡到一只钱包，里面装有大量现金和贵重物品。她没有犹豫，将钱包交给了店员。失主得知后，为小女孩的诚实所感动，赠送了她一份丰厚的礼物。",`   `"一群小鸭子在公园的池塘里迷失了方向，无法上岸。一个小男孩跳进水中，小心翼翼地将它们一个个抱上岸。小鸭子们终于安全了，男孩也赢得了大家的掌声。",`   `"一位老人在公交车上因身体不适晕倒，一位年轻女孩立刻站起来扶住老人，并为他让座。车上其他乘客见状，也纷纷伸出援手，共同照顾老人直到他下车。",`   `"一个失去双臂的年轻人，凭借坚强的意志和努力，学会了用脚写字、画画。他的事迹感动了无数人，成为了励志的典范。",`   `"一位盲人在街头求助，希望有人能带他过马路。一位热心的小伙子主动伸出援手，却发现这位盲人其实是位著名的音乐家。两人后来成为了好朋友。",`   `"一个单亲爸爸为了照顾年幼的女儿，辞去了工作，专职在家照顾孩子。他不仅学会了做饭、洗衣，还成为了女儿最好的朋友。",`   `"一只小狗和一只小猫从小一起长大，成为了最好的朋友。一次，小猫不幸走失，小狗历经艰辛，最终找到了它。这段友谊感动了无数人。",`   `"一个少年在放学路上，看到一位老人摔倒，立刻上前扶起。他不仅将老人送回家，还帮忙照顾老人的日常生活，直到老人的家人回来。",`   `"一个小女孩热爱舞蹈，但因为家境贫寒，无法负担学费。她在街头跳舞筹集学费，最终被一位舞蹈家发现，得到了免费学习舞蹈的机会，实现了她的梦想。"``]``   ``intros = [`   `"雨天的温暖",`   `"诚实的小女孩",`   `"拯救小鸭子",`   `"爱心传递",`   `"坚强的励志故事",`   `"美丽的误会",`   `"父爱如山",`   `"动物的友谊",`   `"乐于助人的少年",`   `"梦想成真"``]``   ``# 定义根据用户问题检索story方法``def getMateStory (query) :`    `result = collection.query(`        `query_texts=[query],`        `n_results=1,`        `include=["metadatas"]`    `)`    `metadatas = result.get("metadatas")`    `resArr = [item for sublist in metadatas for item in sublist]`    `mSource = resArr[0].get('source')`    `return mSource``   ``if __name__ == '__main__':`    `# 实例化向量库`    `chroma_client = chromadb.Client()`    `collection = chroma_client.create_collection(name="hubeidiyi")``   `    `# 定义数据源数据`    `metadatas = [{"source" : i} for i in range(10)]`    `ids = [f"id_{i+1}" for i in range(10)]``   `    `# 将简介内容丢进向量库`    `collection.add(`        `documents=intros,`        `metadatas=metadatas,`        `ids=ids`    `)``   `    `# 预设一个用户问题`    `query = "小女孩最后收获了什么？"`    `print(f'用户提出的问题：{query}')``   `    `# 匹配最相似文本`    `s_index = getMateStory(query)`    `story = stories[s_index]`    `print(f'查询到的故事内容: {story}')``   `    `# 将文档内容补齐插入提示词`    `new_query = doc_prompt.replace("{{知识}}", story).replace("{{问题}}", query)`    `print(f'补全后的完整query: {new_query}')``   `    `# 模型就位`    `device = "mps"`    `model_path = "/Users/van/models/chatglm2-6b"`    `tokenizer = AutoTokenizer.from_pretrained(model_path, trust_remote_code=True)`    `model = AutoModel.from_pretrained(model_path, trust_remote_code=True).to(device).eval()``   `    `response, history = model.chat(tokenizer, new_query, history=[])`    `print(f'最后得到的回答：{response}')

来看一下最后的执行结果：