中文Sentence Embeddings：text2vec-base-chinese VS OpenAIEmbedding

已于 2024-02-14 22:17:51 修改
阅读量892 收藏 2
点赞数
分类专栏： # LLM/RAG LLM 文章标签： 人工智能 自然语言处理
于 2023-08-21 17:01:10 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u013250861/article/details/132412406
版权
LLM 同时被 2 个专栏收录
108 篇文章 226 订阅 ¥19.90 ¥99.00
订阅专栏 超级会员免费看
LLM/RAG
8 篇文章 21 订阅 ¥9.90 ¥99.00
订阅专栏 超级会员免费看
该文对比了text2vec-base-chinese和OpenAIEmbedding在中文Sentence Embeddings的表现，前者在余弦相似性的区分度上表现出色，尤其在中文语义相似度计算中。text2vec-base-chinese是基于CoSENT方法训练，针对中文STS-B数据集取得SOTA结果，适合语义匹配任务。
摘要由CSDN通过智能技术生成

LangChain - 打造自己的GPT（五）拥有本地高效、安全的Sentence Embeddings For Chinese & English234 赞同 · 80 评论文章​编辑

上文中提到了中文Sentence Embeddings text2vec-base-chinese （中文STS-B测试集评估达到SOTA），这次和OpenAIEmbedding做相对更细致一点的对比：

选用 chinese-sts-b数据集 【 该数据集通过翻译加部分人工修正的方法，从英文原数据集生成，可以一定程度上缓解中文语义相似度计算数据集不够的问题。每条数据包含三列，分别表示 sentence1、sentence2 和相似等级（Label），相似等级范围为 0~5，5 表示语义一致，0

了解本专栏 订阅专栏 解锁全文 超级会员免费看
u013250861
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
订阅专栏
M3E 可能是最强大的开源中文嵌入模型
08-03 1万+
“介绍m3e开源中文嵌入模型，在中文的表现上，超过ChatGPT。”01—最近在研究和部署使用LangChain + LLM(ChatGPT/ChatGLM) 构建企业专有知识库时，接触到两个 embedding （嵌入）模型：text2vec，m3e-base。‍‍‍‍感兴趣模型和项目的部署和教程可以看这几篇文章：‍教程｜使用免费GPU 资源搭建专属知识库 ChatGLM2-6B + Lan...
文档向量化工具（二）：text2vec介绍
hugo_lei的博客
11-26 5160
在上一篇文章中介绍了，使用Apache Tika从不同格式的文件里提取文本信息。本篇文章将介绍，如何将提取出的文本信息转换为vector，以便后续基于vector做相似性检索。
【本地知识库】本地知识库+语言大模型=知域问答
最新发布
这里有最新的AI应用资讯，这里有最全的AI应用体验场景.
06-24 687
本地知识库通常是指存储在本地计算机或服务器上的数据库或数据集，用于提供本地环境下的知识和信息。langchain是一个开发基于语言模型应用程序开发框架，链接面向用户程序和LLM之间的中间层。利用LangChain可以轻松管理和语言模型的交互，将多个组件链接在一起，比如各种LLM模型，提示模板，索引，代理等等。
SCI写作之text2vec包
05-11 1112
因此，在笔者的寻寻觅觅之下，找到了一个还不错的语料分析包，下面也分享给大家。Tips: 我们可以在安装text2vec的安装目录下（如笔者安装的目录是F:\Postdoc_analysis\Custom_program），找到sentence_model.py文件，将其中的模型搜索目录修改，即将shibing624/修改为指定的目录F:\\Postdoc_analysis\\pretrain_model。然而，由于国内网络的限制，我们其实是没有办法下载下来的，因此，这里教给大家一个小tip。
文本匹配模型实验报告-text2vec
狮子座明仔知识集散场
06-20 4737
目标：在一个类似BERT的预训练语言模型基础上，监督训练一个句向量表征模型，使模型能够在文本语义匹配任务上表现最好。其中，可以利用的标注数据是常见的句子对形式，格式是“（句子1，句子2，标签）”，按照训练encoder的思路，两个句子经过encoder后分别得到向量u，v，由于预测阶段是计算的余弦相似度cos(u，v)，所以思路是设计基于cos(u, v)的损失函数，让正样本对的相似度尽可能大、负样本对的相似度尽可能小。
深度学习：详解word2vec + 实践操作（包括text2word）
qq_41298763的博客
09-21 4981
Text2vec 的输入是整个文本序列，输出是文本序列对应的向量表示。Word2vec 的训练目标是最小化相似单词在空间中的距离或最大化不相似单词在空间中的距离。Text2vec 的训练目标是最小化文本之间的距离或最大化相似文本的相似度。Text2vec 和 Word2vec 都是用于将文本（文本中的单词或字符）转换为向量的方法。Word2vec 的输入是单个单词，输出是单词对应的向量表示。Text2vec 通常用于处理整个文本序列的任务，如文本分类、文本相似度计算、文本聚类等。
【LangChain+ChatGLM】用好Python自然语言工具包-- 实例“基于本地知识库的自动问答”
weixin_46481662的博客
04-23 6002
Tokenize是指将一段文本分割成单独的词语或符号序列的过程。在自然语言处理中，文本预处理通常包括将原始文本数据转换为可供分析的结构化数据。分词是这个过程中的一个重要步骤，它可以将一段文本分割成有意义的单元，例如单词、标点符号、数字、缩略词等等。分词技术可以基于不同的规则和算法实现，如空格、标点符号、停用词、正则表达式、最大匹配法等。分词的准确性和效率对于后续的自然语言处理任务（例如词性标注、命名实体识别、文本分类等）的效果有很大影响，因此它是自然语言处理中一个非常重要的步骤。
【LLM_01】ChatGLM2-6B本地安装与部署（大语言模型）
07-30 4801
ChatGLM2-6B是一个开源的、支持中英双语的对话语言模型，基于General Language Model (GLM)架构。自我认知：“介绍一下你的优点”提纲写作：“帮我写一个介绍ChatGLM的博客提纲”文案写作：“写10条热评文案”信息抽取：‘从上述信息中抽取人、时间、事件’垂直领域知识基于私有数据的问答。
text2vec-master.zip
05-21
text2vec, text to vector. 文本向量表征工具，把文本转化为向量矩阵，实现了Word2Vec、RankBM25、Sentence-BERT、CoSENT等文本表征、文本相似度计算模型，开箱即用。
Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks下载
03-21
### Sentence-BERT: Sentence Embeddings Using Siamese BERT-Networks #### 概述 在自然语言处理（NLP）领域，预训练模型如BERT（Bidirectional Encoder Representations from Transformers）及其变种RoBERTa已...
T5: Text-To-Text Transfer Transformer-python
06-18
T5: Text-To-Text Transfer TransformerT5：Text-To-Text Transfer Transformer T5 主要用作代码，用于重现 Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer 中的实验。...
打分类型数据集 STS-B 中文数据集
07-22
英文打分数据集STS-B的部分中文翻译
sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2
07-18
标题 "sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2" 提供的信息是关于一个自然语言处理（NLP）模型，该模型基于Sentence Transformers库，并且是多语言版本的。Sentence Transformers是一个Python...
bert-base-chinese.rar
11-10
本文将围绕标题“bert-base-chinese.rar”所代表的PyTorch实现的中文BERT模型进行详细介绍，旨在帮助读者深入理解其工作原理，并探讨如何应用于中文短文本分类、问答系统等NLP任务。 1. **BERT模型概述** BERT模型...
python中文相似度_最准的中文文本相似度计算工具
weixin_39719732的博客
11-21 2518
text2vectext2vec, chinese text to vetor.(文本向量化表示工具，包括词向量化、句子向量化)Feature文本向量表示字词粒度，通过腾讯AI Lab开源的大规模高质量中文词向量数据（800万中文词），获取字词的word2vec向量表示。句子粒度，通过求句子中所有单词词嵌入的平均值计算得到。篇章粒度，可以通过gensim库的doc2vec得到，应用较少，本项目不实...
LangChain + Embedding + Chromdb，关联使用ChatGLM的本地搭建训练平台教程
查理王的博客
07-19 9365
OpenAI 在国内用户注册会遇到各种阻力，目前可行的方法是使用本地数据集的功能实现联网搜索并给出回答，提炼出TXT、WORD 文档里的内容。LangChain。​ 这个库目前非常活跃，每天都在迭代，已经有 22k 的 star，更新速度飞快。LangChain 是一个用于开发由语言模型驱动的应用程序的框架。他主要拥有 2 个能力：可以将 LLM 模型与外部数据源进行连接允许与 LLM 模型进行交互LLM 模型：Large Language Model，大型语言模型。
！！！亲测成功：langchain+ChatGLM 大模型部署
weixin_46228946的博客
08-25 2741
部署langchain+ChatGLM
一文通透Text Embedding模型：从text2vec、openai-text embedding到m3e、bge
热门推荐
结构之法 算法之道
12-31 2万+
判断哪些文本嵌入模型效果较好，通常需要一个评估指标来进行比较，《MTEB: Massive Text Embedding Benchmark(海量文本嵌入基准)》就是一个海量文本嵌入模型的评估基准论文地址：https://arxiv.org/abs/2210.07316MTEB包含8个语义向量任务，涵盖58个数据集和112种语言。通过在MTEB上对33个模型进行基准测试，我们建立了迄今为止最全面的文本嵌入基准。我们发现没有特定的文本嵌入方法在所有任务中都占主导地位。
LangChain + ChatGLM2-6B 搭建个人专属知识库
程序员树先生的博客
07-14 6912
之前教过大家利用 langchain + ChatGLM-6B 实现个人专属知识库，非常简单易上手。最近，智谱 AI 研发团队又推出了 ChatGLM 系列的新模型 ChatGLM2-6B，是开源中英双语对话模型 ChatGLM-6B 的第二代版本，性能更强悍。 树先生之所以现在才更新 ChatGLM2-6B 知识库教程，是想等模型本身再多迭代几个版本，不至于刚出的教程很快不适配，或者项目本身一堆 bug，那样大家使用体验也不好。
sentence-bert: sentence embeddings using siamese bert-networks emnlp
04-30
Sentence-BERT（双塔BERT网络）是一种使用BERT网络生成句子嵌入的方法。 该技术在自然语言处理领域中具有广泛的应用，并且与传统的词向量相比，它提供了更丰富和有趣的语义信息。 在这个技术中，双塔BERT网络被用来生成两个句子之间的相似性分数，这对于许多任务都非常有用。常见的应用包括文本相似度、信息检索和自然语言推理等。接着，我们需要将这个分数转换成一个向量，通过这个向量可以减少噪音，强化特征的相似性. 同时，这个向量可以被用来评估两个句子之间的相似性。 Sentence-BERT可以用于在许多领域进行嵌入学习，例如推荐系统、机器翻译、信息抽取和事实验证等。 此外，这种方法可在文本的特定领域中预先训练句子嵌入，从而在特定任务上提供更好的表现。 总之，Sentence-BERT是一种非常有用的技术，可以从不同角度对文本进行分析，并提供了许多在信息检索、自然语言理解和情感分析等领域中有用的功能。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值