【RAG入门教程02】Langchian的Embedding介绍与使用

最新推荐文章于 2024-06-22 23:30:00 发布

AI小白龙*

最新推荐文章于 2024-06-22 23:30:00 发布

阅读量663

点赞数 30

文章标签： embedding 人工智能大模型部署产品经理 langchain LLM ai大模型

本文链接：https://blog.csdn.net/2301_81940605/article/details/139699441

版权

Embedding介绍

词向量是 NLP 中的一种表示形式，其中词汇表中的单词或短语被映射到实数向量。它们用于捕获高维空间中单词之间的语义和句法相似性。

在词嵌入的背景下，我们可以将单词表示为高维空间中的向量，其中每个维度对应一个特定的特征，例如“生物”、“猫科动物”、“人类”、“性别”等。每个单词在每个维度上都分配有一个数值，通常在 -1 到 1 之间，表示该词与该特征的关联程度。

例如，“猫”这个词在“猫科动物”维度上可能具有较高的正值，而在“人类”维度上具有接近于零的值，这反映了它与猫科动物的紧密关联性，而与人类的关联性较低。

这种数值表示使我们能够捕捉单词之间的语义关系并对其执行数学运算，例如计算单词之间的相似度或将其用作 NLP 任务中 ML 模型的输入。

LangChain 可容纳来自不同来源的多种嵌入。

OpenAI

代码语言：javascript

import os
os.environ["OPENAI_API_KEY"] = "your-key"


from langchain_openai import OpenAIEmbeddings

embeddings = OpenAIEmbeddings()

text = "Text"

text_embedding = embeddings.embed_query(text)

print(text_embedding)

"""
[-0.0006077770551231004,
 -0.02036312831034526,
 0.0015661947077772864,
 -0.0008398058726938265,
 0.00801365303172794,
 0.01648443640533639,
 -0.015071485112588635,
 -0.006794635682304868,
 -0.009232670381151012,
 -0.004512441507728793,
 0.00296615975583046,
 0.02781575545470095,
 -0.004290802116650396,
 0.009204965399058554,
 -0.007286398183123463,
 0.01896402857732122,
 0.03457576177203527,
 0.01469746878566298,
 0.03812199202928964,
 -0.033024282774857694,
 -0.014143370075136358,
 -0.0016640276929606461,
 -0.00023289462736494386,
 -0.009856030615586264,
 -0.018867061139997622,
...
 -0.0007159994667987885,
 -0.024920590413974295,
 0.009017956769934473,
 0.005336663327995613,
 ...]
"""

print(len(text_embedding))

"""
1536
"""

HuggingFace

代码语言：javascript

from langchain_community.embeddings import HuggingFaceEmbeddings
embedding_path = r'H:\pretrained_models\bert\english\paraphrase-multilingual-mpnet-base-v2'

embeddings = HuggingFaceEmbeddings(model_name=embedding_path)

text = "This is a test document."

text_embedding = embeddings.embed_query(text)

print(len(text_embedding)) # 768

Google

代码语言：javascript

from langchain_google_genai import GoogleGenerativeAIEmbeddings
os.environ["GOOGLE_API_KEY"] = "your-key"

embeddings = GoogleGenerativeAIEmbeddings(model="models/embedding-001")
text_embedding = embeddings.embed_query("hello, world!")

print(text_embedding) # 768

更多Embedding可以查看https://python.langchain.com/v0.2/docs/integrations/text_embedding/

计算相似性

我们可以使用嵌入来计算文本的相似度。

代码语言：javascript

word_list = ["Cat", "Dog", "Car""Truck","Computer","Laptop","Apple","Orange", "Music","Dance"]

embedding_model = OpenAIEmbeddings()

embeds = [embedding_model.embed_query(word) for word in word_list]

embeds
"""
[[-0.008174207879591734,
  -0.007511803310590743,
  -0.00995655437174355,
  -0.024788951157780095,
  -0.012790553094547429,
  0.006654775143594856,
  -0.0015151649503578363,
  -0.03783217392596492,
  -0.014422662356334227,
  -0.026250339680779597,
  0.017154227704543168,
  0.046327340706031526,
  0.0035646922858117093,
  0.004240754467349556,
  -0.032287098019987186,
  -0.004592443287070655,
  0.03955306057962428,
  0.005261676778755394,
  0.00789422251521935,
  -0.015501631209043845,
  -0.023723641081760536,
  0.0053197228543978925,
  0.014873371253461594,
  -0.012141805905252653,
  -0.006781109980413554,
...
  0.00566348496318421,
  0.01855802589283819,
  0.00531267762533671,
  0.02393075147421956,
  ...]]
"""

我们引入另一个单词并计算相似度。

代码语言：javascript

input_word = "Lion"

input_embed = embedding_model.embed_query(input_word)
import numpy as np

def cosine_similarity(a, b):
    return np.dot(a, b) / (np.linalg.norm(a) * np.linalg.norm(b))

similarity = cosine_similarity(embeds[0], input_embed)

print(similarity) #0.8400893968591456
from sklearn.metrics.pairwise import cosine_similarity

similarity = cosine_similarity(np.array([embeds[0]]), np.array([input_embed]))

print(similarity) #array([[0.8400894]])
sims = [cosine_similarity(np.array([emb]), np.array([input_embed])) for emb in embeds]

"""
[array([[0.8400894]]),
 array([[0.80272758]]),
 array([[0.79536215]]),
 array([[0.81627175]]),
 array([[0.82762581]]),
 array([[0.81705796]]),
 array([[0.82609729]]),
 array([[0.78917449]]),
 array([[0.79970112]])]
"""

考虑文本存储在 CSV 文件中，我们计划将其用作评估输入相似性的参考。

代码语言：javascript

from langchain.document_loaders.csv_loader import CSVLoader

loader = CSVLoader(file_path='data.csv', csv_args={
    'delimiter': ',',
    'quotechar': '"',
    'fieldnames': ['Words']
})

data = loader.load()
data

"""
[Document(page_content='Words: Words', metadata={'source': 'data.csv', 'row': 0}),
 Document(page_content='Words: Cat', metadata={'source': 'data.csv', 'row': 1}),
 Document(page_content='Words: Dog', metadata={'source': 'data.csv', 'row': 2}),
 Document(page_content='Words: CarTruck', metadata={'source': 'data.csv', 'row': 3}),
 Document(page_content='Words: Computer', metadata={'source': 'data.csv', 'row': 4}),
 Document(page_content='Words: Laptop', metadata={'source': 'data.csv', 'row': 5}),
 Document(page_content='Words: Apple', metadata={'source': 'data.csv', 'row': 6}),
 Document(page_content='Words: Orange', metadata={'source': 'data.csv', 'row': 7}),
 Document(page_content='Words: Music', metadata={'source': 'data.csv', 'row': 8}),
 Document(page_content='Words: Dance', metadata={'source': 'data.csv', 'row': 9})]
"""

CSVLoader 类用于从 CSV 文件加载数据。我们将在系列后面介绍装载机。我们可以利用FAISS结合LangChain来创建一个向量存储。

代码语言：javascript

embeddings = OpenAIEmbeddings()

from langchain_community.vectorstores import FAISS

db = FAISS.from_documents(data, embeddings)

代码语言：javascript

user_input = "Lion"

results = db.similarity_search(user_input)

results

"""
[Document(page_content='Words: Cat', metadata={'source': 'data.csv', 'row': 1}),
 Document(page_content='Words: Apple', metadata={'source': 'data.csv', 'row': 6}),
 Document(page_content='Words: Dog', metadata={'source': 'data.csv', 'row': 2}),
 Document(page_content='Words: Orange', metadata={'source': 'data.csv', 'row': 7})]
"""

如何系统的去学习大模型LLM ？

作为一名热心肠的互联网老兵，我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。

但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的 AI大模型资料 包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

所有资料 ⚡️ ，朋友们如果有需要全套《LLM大模型入门+进阶学习资源包》，扫码获取~

👉CSDN大礼包🎁：全网最全《LLM大模型入门+进阶学习资源包》免费分享（安全链接，放心点击）👈

一、全套AGI大模型学习路线

AI大模型时代的学习之旅：从基础到前沿，掌握人工智能的核心技能！

二、640套AI大模型报告合集

这套包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。

三、AI大模型经典PDF籍

随着人工智能技术的飞速发展，AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型，如GPT-3、BERT、XLNet等，以其强大的语言理解和生成能力，正在改变我们对人工智能的认识。那以下这些PDF籍就是非常不错的学习资源。

在这里插入图片描述

四、AI大模型商业化落地方案

阶段1：AI大模型时代的基础理解

目标：了解AI大模型的基本概念、发展历程和核心原理。
内容：
- L1.1 人工智能简述与大模型起源
- L1.2 大模型与通用人工智能
- L1.3 GPT模型的发展历程
- L1.4 模型工程
  - L1.4.1 知识大模型
  - L1.4.2 生产大模型
  - L1.4.3 模型工程方法论
  - L1.4.4 模型工程实践
- L1.5 GPT应用案例

阶段2：AI大模型API应用开发工程

目标：掌握AI大模型API的使用和开发，以及相关的编程技能。
内容：
- L2.1 API接口
  - L2.1.1 OpenAI API接口
  - L2.1.2 Python接口接入
  - L2.1.3 BOT工具类框架
  - L2.1.4 代码示例
- L2.2 Prompt框架
  - L2.2.1 什么是Prompt
  - L2.2.2 Prompt框架应用现状
  - L2.2.3 基于GPTAS的Prompt框架
  - L2.2.4 Prompt框架与Thought
  - L2.2.5 Prompt框架与提示词
- L2.3 流水线工程
  - L2.3.1 流水线工程的概念
  - L2.3.2 流水线工程的优点
  - L2.3.3 流水线工程的应用
- L2.4 总结与展望

阶段3：AI大模型应用架构实践

目标：深入理解AI大模型的应用架构，并能够进行私有化部署。
内容：
- L3.1 Agent模型框架
  - L3.1.1 Agent模型框架的设计理念
  - L3.1.2 Agent模型框架的核心组件
  - L3.1.3 Agent模型框架的实现细节
- L3.2 MetaGPT
  - L3.2.1 MetaGPT的基本概念
  - L3.2.2 MetaGPT的工作原理
  - L3.2.3 MetaGPT的应用场景
- L3.3 ChatGLM
  - L3.3.1 ChatGLM的特点
  - L3.3.2 ChatGLM的开发环境
  - L3.3.3 ChatGLM的使用示例
- L3.4 LLAMA
  - L3.4.1 LLAMA的特点
  - L3.4.2 LLAMA的开发环境
  - L3.4.3 LLAMA的使用示例
- L3.5 其他大模型介绍

阶段4：AI大模型私有化部署

目标：掌握多种AI大模型的私有化部署，包括多模态和特定领域模型。
内容：
- L4.1 模型私有化部署概述
- L4.2 模型私有化部署的关键技术
- L4.3 模型私有化部署的实施步骤
- L4.4 模型私有化部署的应用场景

学习计划：

阶段1：1-2个月，建立AI大模型的基础知识体系。
阶段2：2-3个月，专注于API应用开发能力的提升。
阶段3：3-4个月，深入实践AI大模型的应用架构和私有化部署。
阶段4：4-5个月，专注于高级模型的应用和部署。

这份完整版的所有 ⚡️ 大模型 LLM 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【`保证100%免费`】

全套《LLM大模型入门+进阶学习资源包》↓↓↓ 获取~

👉CSDN大礼包🎁：全网最全《LLM大模型入门+进阶学习资源包》免费分享（安全链接，放心点击）👈

AI小白龙*

关注

30
点赞
踩
8

收藏

觉得还不错? 一键收藏
0
评论
【RAG入门教程02】Langchian的Embedding介绍与使用

词向量是 NLP 中的一种表示形式，其中词汇表中的单词或短语被映射到实数向量。它们用于捕获高维空间中单词之间的语义和句法相似性。在词嵌入的背景下，我们可以将单词表示为高维空间中的向量，其中每个维度对应一个特定的特征，例如“生物”、“猫科动物”、“人类”、“性别”等。每个单词在每个维度上都分配有一个数值，通常在 -1 到 1 之间，表示该词与该特征的关联程度。
复制链接

扫一扫