使用Ollama和Go基于文本嵌入模型实现文本向量化

最新推荐文章于 2025-04-24 14:42:25 发布
最新推荐文章于 2025-04-24 14:42:25 发布
阅读量2.8k 收藏 23
点赞数 24
文章标签： 人工智能 深度学习 自然语言处理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/bigwhite20xx/article/details/138642786
版权

基于RAG+大模型的应用已经成为当前AI应用领域的一个热门方向。RAG(Retrieval-Augmented Generation)将检索和生成两个步骤相结合，利用外部知识库来增强生成模型的能力(如下图来自网络)。

a2d4912e185c38d9b43df5101f2971ad.png

在RAG赋能的大模型应用中，关键的一步是将文本数据向量化后存储在向量数据库中(如上图的红框)，以实现快速的相似度搜索，从而检索与输入查询相关的文本片段，再将检索到的文本输入给生成模型生成最终结果。

本文是我学习开发大模型应用的一篇小记，探讨的是如何使用Ollama和Go语言实现文本数据的向量化处理，这是开发基于RAG的大模型应用的前提和基础。

要进行文本向量化，我们首先要了解一下文本向量化的方法以及发展。

纵观文本向量化技术的发展历程，我们可以看到从早期的词袋模型(Bag-of-Words)、主题模型(Topic Models)，到词嵌入(Word Embedding)、句嵌入(Sentence Embedding)，再到当前基于预训练的文本嵌入模型(Pretrained Text Embedding Models)，文本向量化的方法不断演进，语义表达能力也越来越强。

但传统的词袋模型忽略了词序和语义，主题模型又难以捕捉词间的细粒度关系，词嵌入模型(如Word2Vec、GloVe)虽然考虑了词的上下文，但无法很好地表征整个句子或文档的语义。近年来，随着预训练语言模型(如BERT、GPT等)的崛起，出现了一系列强大的文本嵌入模型，它们在大规模语料上进行预训练，能够生成高质量的句子/文档嵌入向量，广泛应用于各类NLP任务中。下图是抱抱脸(https://huggingface.co/)的最新文本嵌入模型的排行榜[1]：

36f5e2ebf905adf7a4c50b0163984cbe.png

目前，基于大型预训练语言模型的文本嵌入已成为主流方法。这些模型在大规模无监督语料上预训练，学习到丰富的语义知识，生成的文本嵌入能较好地编码词语、短语和句子等多个层面的语义关系。Nomic AI[2]等组织发布了多种优秀的预训练文本嵌入模型，应用效果获得了较大提升。这种基于预训练的文本嵌入模型来实现文本数据向量化的方法也缓解了Go语言生态中文本向量化的相关库相对较少的尴尬，Gopher可以在预训练文本嵌入模型的帮助下将文本向量化。接下来，我们就来看看如何基于Ollama和Go基于文本嵌入模型实现文本向量化。

考虑到实验环境资源有限，以及Ollama对Text Embedding模型的支持[3]，这里我选择了Nomic AI开源发布的nomic-embed-text v1.5模型[4]，虽然在抱抱脸上它的排名并不十分靠前。

在《使用Ollama和OpenWebUI在CPU上玩转Meta Llama3-8B[5]》一文中，我已经粗略介绍过Ollama在本地运行大模型的基本步骤，如果你对Ollama的操作还不是很了解，可以先阅读一下那篇文章。

下面我们就用ollama下载nomic-embed-text:v1.5模型：

$ollama pull nomic-embed-text:v1.5
pulling manifest
pulling manifest
pulling 970aa74c0a90... 100% ▕██████████████████████████████████████████████████████████████████▏ 274 MB    
最低0.47元/天 解锁文章
Tony Bai
关注
文本向量化
08-23 1156
词嵌入是一种表示单词的方法，它将词汇表中的每个单词表示为一个普通的向量。不同于传统的只包含0和1的One-Hot向量，词嵌入向量是一串普通的数字。这样的向量将单词嵌入到一个数学空间中，因此称为"词嵌入"。● 如何进行词嵌入？要进行词嵌入，我们需要通过神经网络进行训练，训练得到的网络权重形成的向量就是我们最终需要的词向量。● 词汇表征和语言模型自然语言处理的核心是建立语言模型，从深度学习的角度来看，我们可以将自然语言处理的语言模型视为一个监督学习问题。
大语言模型的语意向量表示
欢迎来到我的CSDN空间！这里聚焦AI大模型应用实战，分享前沿技术、实战案例与开发经验。
11-07 823
大语言模型的语意向量表示 关键词：语义相似度, 词嵌入, 语义向量, 神经网络模型, 预训练, 向量空间 1. 背景介绍 语言是一种复杂的符号系统，人类的日常交流和理解大多建立在语义上。传统的机器学习方法往往将文本视作无序的字符序
ollama 本地安装 embedding 模型
热门推荐
python123456_的博客
01-23 2万+
知识库领域的 LLM 大模型和 Embedding 大模型有区别么？为什么在 RAG 领域，需要单独设置 embedding 大模型？在人工智能领域，大型语言模型（LLM）和嵌入模型（Embedding Model）是自然语言处理（NLP）中的两大关键技术，尤其在知识库构建和信息检索中发挥着重要作用。尽管它们都属于 NLP 范畴，但它们在功能、应用场景和资源需求上存在显著差异。Embedding 模型的主要任务是将文本转换为数值向量表示。这些向量可以用于计算文本之间的相似度、进行信息检索和聚类分析。
探索Ollama Embeddings：开启文本向量化的新篇章
mmlihaio的博客
11-11 2570
Ollama Embeddings提供了强大的文本向量化功能，是自然语言处理任务中不可或缺的工具。无论是文本分类、主题建模还是信息检索，理解和使用这样的嵌入技术都是非常重要的。
Ollama本地安装与Embedding模型配置指南！
2401_84204207的博客
03-15 2947
知识库领域的 LLM 大模型和 Embedding 大模型有区别么？为什么在 RAG 领域，需要单独设置 embedding 大模型？在人工智能领域，大型语言模型（LLM）和嵌入模型（Embedding Model）是自然语言处理（NLP）中的两大关键技术，尤其在知识库构建和信息检索中发挥着重要作用。尽管它们都属于 NLP 范畴，但它们在功能、应用场景和资源需求上存在显著差异。Embedding 模型的主要任务是将文本转换为数值向量表示。这些向量可以用于计算文本之间的相似度、进行信息检索和聚类分析。
文本向量化（Embedding）模型
翱翔-蓝天
03-24 1307
将文本（单词、句子、段落、文档）通过特定模型映射为稠密向量（Dense Vector），用于表示文本的语义信息。BGE（BAAI General Embedding）系列出自：北京智源研究院（BAAI）版本：bge-small（256维，轻量）bge-base（768维，效果平衡）bge-large（1024维，效果最优）亮点：针对检索任务优化多语言支持（M3版本）文本检索与RAG问答强项适合场景：知识库、问答系统、相似度计算场景推荐模型推荐数据库中文RAG检索。
4-2 文本向量化
weixin_62115482的博客
07-10 2825
Word2Vec是由Google提出的一种词嵌入方法，通过训练神经网络，将词映射到一个连续的向量空间，使相似的词在向量空间中距离较近。TF-IDF（Term Frequency-Inverse Document Frequency）是一种改进的词袋模型，通过考虑词在文档中的频率和在整个语料库中的反向文档频率，衡量词的重要性。FastText是Facebook提出的一种改进的词嵌入方法，不仅考虑词本身，还考虑词的子词信息（如词根、词缀等），因此在处理罕见词和形态变化丰富的语言时表现更好。
自然语言处理之文本向量化（词袋模型、TF-IDF）
永远飞翔的鸟
03-07 9786
目录 1.词袋模型（Bag of words，简称 BoW ） 2.词频向量化 3.TF-IDF处理 3.1TF 3.2IDF 4 CountVectorizer与TfidfVectorizer的异同： 5.sklearn中TfidfTransformer和TfidfVectorizer对tf-idf的计算方式 6.实战 文本数据预处理的第一步通常是进行分词，分词后会进行...
Ollama
最新发布
thesky123456的博客
04-24 1073
Ollama 是一个轻量级、可扩展的框架，用于在本地计算机上构建和运行语言模型。它提供了创建、运行和管理模型的简单 API，以及一系列预构建模型的库，这些模型可以轻松地应用于各种场景。NOTE] 运行 7B 模型至少需要 8 GB 内存，运行 13B 模型需要 16 GB 内存，运行 33B 模型需要 32 GB 内存。Ollama 提供了一套 REST API，用于运行和管理模型。命令，可以在不运行桌面应用程序的情况下启动 ollama。指令并提供要导入的模型的本地文件路径。快速上手大型语言模型。
利用大模型技术，打造本地个人专属知识库
晨曦蜗牛
06-27 2538
预训练的大型语言模型已经成为推动自然语言处理领域进步的关键力量。这些模型凭借其强大的语境理解、生成和交互能力，在信息检索、知识管理、创意辅助等多个领域展现出巨大潜力。然而，当前大多数应用依赖于云端服务，用户数据需上传至远程服务器进行处理，这不仅涉及隐私安全问题，也对网络环境有较高要求。鉴于此，利用主流开源大模型技术，构建一套运行于本地环境的个人专属知识库系统，整合个人积累资源，实现知识的高效管理、个性化学习与创作辅助，同时保障用户数据的私密性与安全性与充分应用本地计算资源。
比ollama还强大的LocalAI：解锁本地化AI模型部署教程
洛阳泰山的博客
04-07 1552
LocalAI 是一个致力于简化和加速人工智能模型在本地环境部署的开源项目。它允许用户在不依赖大型云端服务的情况下，利用自己的硬件资源运行复杂的机器学习模型。这为那些希望保持数据隐私、减少延迟或需要离线工作能力的应用提供了理想的解决方案。 LocalAI 支持多种类型的机器学习模型，并提供了一套统一的API接口，方便开发者集成到自己的应用中。通过这种方式，它可以支持包括自然语言处理（NLP）、计算机视觉等在内的广泛应用场景。此外，LocalAI 还强调易用性和灵活性，使得即使是没有深厚机器学习背景的开发者
不同linux禁用nouveau驱动方法
weixin_43464294的博客
09-13 1598
不同Linux系统nouveau驱动禁用方式 Fedora 创建文件/usr/lib/modprobe.d/blacklist-nouveau.conf，添加如下文本： blacklist nouveau options nouveau modeset=0 重新生成initramfs。 $ sudo dracut --force RHEL/CentOS 创建文件/etc/modpr...
Ollama 运行 Embedding 模型
engchina的专栏
05-20 1万+
Ollama 运行 Embedding 模型
使用嵌入模型将文本转换为向量，并存储在向量数据库中。
04-08
### 如何使用嵌入模型将文本转换为向量并存储到向量数据库 #### 嵌入模型的工作流程 为了实现将文本数据转化为可以被机器理解的形式，通常会经历一系列标准化的预处理阶段以及后续的向量生成过程。具体来说： - **文本预处理** 是指通过移除无关紧要的信息来优化原始文本的质量。这一步骤可能涉及删除停用词（如“the”，“is”）、标点符号以及其他噪声字符，并执行诸如分词和归一化这样的操作[^1]。 - 接下来，在完成上述清理工作之后，需采用一种合适的嵌入技术或深度学习框架把经过净化后的词语映射成数值型表示形式——即所谓的高维度空间中的稠密向量。这些向量能够捕捉单词之间的语义关系，使得相似含义的内容拥有相近位置分布特征。 #### 向量数据库的选择与应用 一旦获得了代表各个文档片断或者句子意义表达的有效编码方式，则可考虑将其持久保存以便日后检索查询之用。目前市面上存在多种专为此目的设计开发出来的高效解决方案可供选用，其中包括但不限于Pinecone、Weaviate、FAISS 和 Milvus 等工具平台。它们各自具备独特优势特性以满足不同场景需求下的性能指标要求。 以下是基于 Python 的简单示例代码展示如何创建一个基本管道用于从给定字符串集合构建其对应的矢量表现形式并将结果提交至选定的目标系统中去管理维护: ```python from sentence_transformers import SentenceTransformer import pinecone # 初始化 Pinecone 客户端连接参数配置 (替换为自己账户的具体信息) pinecone.init(api_key="your_api_key", environment="your_env") # 加载预先训练好的 BERT 变体作为我们的嵌入函数实例对象 model = SentenceTransformer('all-MiniLM-L6-v2') texts = ["example text one", "another piece of content"] # 将每条记录传递给模型得到相应的低维实数数组输出 embeddings = model.encode(texts) index_name = 'my-index' if index_name not in pinecone.list_indexes(): pinecone.create_index(index_name, dimension=embeddings.shape[1]) index = pinecone.Index(index_name=index_name) # 插入数据项进入索引结构内部等待进一步分析调用 for i, vec in enumerate(embeddings): index.upsert([(str(i), list(vec))]) ``` 此脚本首先定义了一个小型测试集 `texts` ，接着运用 Hugging Face 提供的开源库加载名为 all-MiniLM-L6-v2 的 transformer 架构版本充当实际计算逻辑核心组件；最后借助官方 API 方法逐步建立起远程服务端上的新表单实体及其关联属性字段布局安排情况概述说明如下所示。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值