如何将文本转换为向量？(方法二)

 文本转换为向量有多种方式：

方法一： 通过模型服务灵积DashScope将文本转换为向量（推荐）

方法二： 通过ModelScope魔搭社区中的文本向量开源模型将文本转换为向量

方法三： 通过Jina Embeddings v2模型将文本转换为向量

方法四： 通过百川智能向量化模型将文本转换为向量

本文介绍方法二：如何通过 ModelScope魔搭社区中的 文本向量开源模型将文本转换为向量，并入库至向量检索服务DashVector中进行向量检索。

 ModelScope魔搭社区旨在打造下一代开源的模型即服务共享平台，为泛AI开发者提供灵活、易用、低成本的一站式模型服务产品，让模型应用更简单。

ModelScope魔搭社区的愿景是汇集行业领先的预训练模型，减少开发者的重复研发成本，提供更加绿色环保、开源开放的AI开发环境和模型服务，助力绿色“数字经济”事业的建设。 ModelScope魔搭社区将以开源的方式提供多类优质模型，开发者可在平台上体验与下载使用。

在ModelScope魔搭社区，您可以：

• 免费使用平台提供的预训练模型，支持免费下载运行
• 一行命令实现模型预测，简单快速验证模型效果
• 用自己的数据对模型进行调优，定制自己的个性化模型
• 学习系统性的知识，结合实训，有效提升模型研发能力
• 分享和贡献你的想法、评论与模型，让更多人认识你，在社区中成长

前提条件

• DashVector：

• 已创建Cluster： 创建Cluster
• 已获得API-KEY： API-KEY管理
• 已安装最新版SDK： 安装DashVector SDK

• ModelScope：

• 已安装最新版SDK：pip install -U modelscope

CoROM文本向量

简介

模型ID	向量维度	度量方式	向量数据类型	备注
damo/nlp_corom_sentence-embedding_chinese-base	768	Cosine	Float32	中文-通用领域-base 最长文本长度：512
damo/nlp_corom_sentence-embedding_english-base	768	Cosine	Float32	英文-通用领域-base 最长文本长度：512
damo/nlp_corom_sentence-embedding_chinese-base-ecom	768	Cosine	Float32	中文-电商领域-base 最长文本长度：512
damo/nlp_corom_sentence-embedding_chinese-base-medical	768	Cosine	Float32	中文-医疗领域-base 最长文本长度：512
damo/nlp_corom_sentence-embedding_chinese-tiny	256	Cosine	Float32	中文-通用领域-tiny 最长文本长度：512
damo/nlp_corom_sentence-embedding_english-tiny	256	Cosine	Float32	英文-通用领域-tiny 最长文本长度：512
damo/nlp_corom_sentence-embedding_chinese-tiny-ecom	256	Cosine	Float32	中文-电商领域-tiny 最长文本长度：512
damo/nlp_corom_sentence-embedding_chinese-tiny-medical	256	Cosine	Float32	中文-医疗领域-tiny 最长文本长度：512

说明

关于CoROM文本向量模型更多信息请参考： CoROM文本向量

使用示例

说明

需要进行如下替换代码才能正常运行：

1. DashVector api-key替换示例中的{your-dashvector-api-key}
2. DashVector Cluster Endpoint替换示例中的{your-dashvector-cluster-endpoint}
3. 使用上表中模型ID替换示例中的{model_id}
4. 需注意，若所使用的模型若为tiny模型，则向量维度为256

Python示例：

登录后复制

from modelscope.pipelines import pipeline
from modelscope.utils.constant import Tasks
from typing import List
from dashvector import Client


pipeline_se = pipeline(Tasks.sentence_embedding, model='{model_id}')


def generate_embeddings(texts: List[str]):
    inputs = {'source_sentence': texts}
    result = pipeline_se(input=inputs)
    return result['text_embedding']


########### 以下为通用示例：向量入库DashVector和向量检索代码参考###########
# 创建DashVector Client
client = Client(
    api_key='{your-dashvector-api-key}',
    endpoint='{your-dashvector-cluster-endpoint}'
)

# 创建DashVector Collection
# 注意：需根据模型对应向量维度调整dimension参数
rsp = client.create('CoROM-text-embedding', dimension=768)
assert rsp
collection = client.get('CoROM-text-embedding')
assert collection

# 向量入库DashVector
collection.insert(
    ('ID1', generate_embeddings(['阿里云向量检索服务DashVector是性能、性价比具佳的向量数据库之一'])[0])
)

# 向量检索
docs = collection.query(
    generate_embeddings(['The best vector database'])[0]
)
print(docs)

• 1.
• 2.
• 3.
• 4.
• 5.
• 6.
• 7.
• 8.
• 9.
• 10.
• 11.
• 12.
• 13.
• 14.
• 15.
• 16.
• 17.
• 18.
• 19.
• 20.
• 21.
• 22.
• 23.
• 24.
• 25.
• 26.
• 27.
• 28.
• 29.
• 30.
• 31.
• 32.
• 33.
• 34.
• 35.
• 36.
• 37.
• 38.
• 39.

GTE文本向量

简介

模型ID	向量维度	度量方式	向量数据类型	备注
damo/nlp_gte_sentence-embedding_chinese-base	768	Cosine	Float32	中文-通用领域-base 最长文本长度：512
damo/nlp_gte_sentence-embedding_chinese-large	768	Cosine	Float32	中文-通用领域-large 最长文本长度：512
damo/nlp_gte_sentence-embedding_chinese-small	512	Cosine	Float32	中文-通用领域-small 最长文本长度：512
damo/nlp_gte_sentence-embedding_english-base	768	Cosine	Float32	英文-通用领域-base 最长文本长度：512
damo/nlp_gte_sentence-embedding_english-large	768	Cosine	Float32	英文-通用领域-large 最长文本长度：512
damo/nlp_gte_sentence-embedding_english-small	384	Cosine	Float32	英文-通用领域-small 最长文本长度：512

说明

关于GTE文本向量模型更多信息请参考： GTE文本向量

使用示例

本模型使用示例同 CoROM文本向量-使用示例，进行相应模型ID和向量维度替换即可运行。

Udever 多语言通用文本表示模型

简介

模型ID	向量维度	度量方式	向量数据类型	备注
damo/udever-bloom-560m	1024	Cosine	Float32	模型参数：560m 最长文本长度：2048
damo/udever-bloom-1b1	1536	Cosine	Float32	模型参数：1b1 最长文本长度：2048
damo/udever-bloom-3b	2048	Cosine	Float32	模型参数：3b 最长文本长度：2048
damo/udever-bloom-7b1	4096	Cosine	Float32	模型参数：7b1 最长文本长度：2048

说明

关于Udever 多语言通用文本表示模型更多信息请参考： Udever 多语言通用文本表示模型

使用示例

本模型使用示例同 CoROM文本向量-使用示例，进行相应模型ID和向量维度替换即可运行。

StructBERT FAQ问答

简介

模型ID	向量维度	度量方式	向量数据类型	备注
damo/nlp_structbert_faq-question-answering_chinese-base	768	Cosine	Float32	中文-通用领域-base 最长文本长度：不限制
damo/nlp_structbert_faq-question-answering_chinese-finance-base	768	Cosine	Float32	中文-金融领域-base 最长文本长度：不限制
damo/nlp_structbert_faq-question-answering_chinese-gov-base	768	Cosine	Float32	中文-政务领域-base 最长文本长度：不限制

说明

关于StructBERT FAQ问答模型更多信息请参考： StructBERT FAQ问答

使用示例

说明

需要进行如下替换代码才能正常运行：

1. 使用上表中模型ID替换示例中的{model_id}

登录后复制

from modelscope.pipelines import pipeline
from modelscope.utils.constant import Tasks
from typing import List

pipeline = pipeline(Tasks.faq_question_answering, model='{model_id}')


def generate_embeddings(texts: List[str], max_len=30):
    return pipeline.get_sentence_embedding(texts)

• 1.
• 2.
• 3.
• 4.
• 5.
• 6.
• 7.
• 8.
• 9.

说明

本示例中，向量入库DashVector和向量检索代码，参考 CoROM文本向量-使用示例中的通用示例部分

---

更多文本向量模型

模型名称	模型ID	向量维度	度量方式	向量数据类型	备注
Bert实体向量-中文-通用领域-base	damo/nlp_bert_entity-embedding_chinese-base	768	Cosine	Float32	默认最长文本长度：128  详情
英文文本向量表示模型-TextRetrieval	damo/nlp_minilm_ibkd_sentence-embedding_english-msmarco	384	Cosine	Float32	默认最长文本长度：128  详情
英文文本向量表示模型MiniLM-IBKD-STS	damo/nlp_minilm_ibkd_sentence-embedding_english-sts	384	Cosine	Float32	默认最长文本长度：128  详情
text2vec-base-chinese	thomas/text2vec-base-chinese	768	Cosine	Float32	默认最长文本长度：未知  详情
text2vec-large-chinese	thomas/text2vec-large-chinese	1024	Cosine	Float32	默认最长文本长度：未知  详情

说明

1. 列表中模型示例同 CoROM文本向量-使用示例，进行相应模型ID和向量维度替换即可运行
2. 更多ModelScope社区中的开源文本向量模型在本文中不再一一列举，更多文本向量模型待您探索、发现和共建， 点击进入。

原创作者: u_16773655 转载于: https://blog.51cto.com/u_16773655/11470877