bert serving的简单使用（文本向量化）

原创 已于 2023-08-30 10:02:09 修改 · 1.2w 阅读 · 97 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#bert #python #深度学习

于 2020-06-05 09:47:58 首次发布

不涉及原理，只是快速开始使用
更详细的请参考官方文档
https://bert-as-service.readthedocs.io/en/latest/index.html

文章目录

可用环境

python==3.7
pip install bert-serving-server bert-serving-client tensorflow==1.13.1 protobuf==3.19.0

1. 下载预训练模型

(下载可能需要一些时间，等待的时候可以先去下一步把python库安了)
可以直接去github下载
https://github.com/google-research/bert
在这里插入图片描述
解压后的文件有5个（我使用的是BERT-Base, Uncased这个预训练模型）
在这里插入图片描述

2. 安装python库

pip install bert-serving-server
pip install bert-serving-client

3. 启动服务

在命令行输入

bert-serving-start -model_dir D:\Documents\Code\PythonCode\bert\model\ -num_worker=1

这条指令启动了位于-model_dir地址的bert模型，提供一个工作通道
注意：地址填绝对地址，相对地址可能会出问题（有的人出错，有的人不出错）

启动成功会显示
在这里插入图片描述
一定是显示all set , ready to serve request!才算启动成功

和jupyter notebook一样，在使用Bert的过程中这个命令行窗口要保持开启

4. 使用

from bert_serving.client import BertClient
print(“::0”)
bc = BertClient()
ans = bc.encode([‘First do it’, ‘then do it right’, ‘then do it better’])
print(len(ans[0]))
print(“::1”)

在这里插入图片描述
encode是将句子转换为固定长度向量返回，小型的模型的向量长度为768，大型的为1024

encode接收两种数据形式
一种是list[str]，一个列表，里面是为分词的句子，之后得到的矩阵每一行对应一个句子
比如

[‘First do it’, ‘then do it right’, ‘then do it better’]

另一种是list[list[str]]，一个列表，里面是分词完毕的句子词语的列表，同样得到的矩阵也是一行对应一个句子
比如

[[‘First’, ‘do’, ‘it’], [‘then’, ‘do’, ‘it’, ‘right’], [‘then’, ‘do’, ‘it’, ‘better’]]

关于坑

tensorflow版本

一开始安装的是最新的2.2版本，启动服务的时候报错

TypeError: cannot unpack non-iterable NoneType object

卸载当前的tensorflow，重新安装tensorflow
或者直接覆盖

pip install tensorflow==1.13.0rc1

内存问题（num_worker）

官方给的教程写的基本指令是num_worker=4
我电脑太渣，瞬间CPU和内存飙满，但是也不给个报错MemoryError，废了好大的劲才发现是内存问题
这种有可能是卡在中间，也不报错，所以一定要记住all set , ready to serve request!才算启动成功

一开始还是要从num_worker=1开始
一般启动过程中会有几秒资源占用很高，过去之后会降下来

最长序列长（max_seq_len）

如果你提供给他的句子比较长，可能会出现下面这个警告
在这里插入图片描述
bert默认句子最长是25，超过了的词直接被放弃，
举个栗子
这里有一个长句（句子随便找的）

“In the special period, Shanghai will take advantage of ChinaJoy platform on industry collaboration, international cooperation and create better business environment for the industry, according to the organizers including local government bureaus.”

一共32个词，它只会取前25个作为特征来生成向量

如何解决
回到上面的第3步，
更改启动参数
加一条“max_seq_len=40”
比如

bert-serving-start -model_dir D:\Documents\Code\PythonCode\bert\model\ -num_worker=1 -max_seq_len=40

如果你不知道自己的数据最长多少，那就设置成None，动态调节，但相应的计算量就上去了，像我这样电脑渣的，
小风扇呼呼转，分分钟CPU、内存爆炸给你看。
在这里插入图片描述

BERT 词向量理解及训练更新
weixin_42357472的博客
01-15 3567
在预训练阶段中，词向量是在不断更新的，而在fine-tuning阶段中，词向量是固定不变的。理解就是输入字x，1个神经元对应了多个神经元，权重（即是这个x的词向量）就是1对多的连接层上的权重，相当于是个线性函数的连接层参数。在学习过程中，词表中每个词的词向量是通过输入的语料来学习的。假设输入层有1个神经元x=2，W是1*3的矩阵 [[1, 2, 3]]，b是3维的向量 [1, 1, 1]。训练后的词向量矩阵向量变化，因为只有1，2，3，4行测试数据，所以只更新的是这几行的向量。那么 y = Wx + b。
TensorFlow 2.0实现BERT文本分类模型：使用预训练的BERT模型进行文本分类任务
AI天才研究院
08-09 2345
2018年是NLP技术爆炸式发展的年代，自然语言处理（NLP）成为人工智能领域的一大热点。人们为了解决信息提取、文本处理、文本理解等诸多NLP任务而不断投入研发新的工具与技术。其中最火的当属预训练的BERT(Bidirectional Encoder Representations from Transformers)模型，它可以学习到大量的文本语义信息并用于许多NLP任务中，比如文本分类、文本匹配、序列标注等。
Google Bert的使用
Raina_qing的博客
07-07 1172
1、安装bert-as-service，这是一个可以利用bert模型将句子映射到固定长度向量的服务。 在命令行中输入 pip install bert-serving-server # server pip install bert-serving-client # client, independent of 'bert-serving-server' 2、启动bert ...
解密文本向量化：从BERT到嵌入模型的深度解析
AI Agent 首席体验官
03-17 1558
嵌入模型是一种机器学习模型，它能够将文本、图像或其他类型的数据转换成密集的数值向量（通常是浮点数数组）。在向量数据库领域，嵌入模型特别重要，因为它们能够捕获数据的语义信息，使得相似的内容在向量空间中彼此接近。嵌入模型的主要特点：常见的嵌入模型包括Word2Vec、GloVe、BERT、OpenAI的text-embedding-ada系列、Cohere的嵌入模型等。文本被嵌入模型转换为向量的过程通常包含以下步骤：例如，使用BERT模型时，一段文本"向量数据库很有用"可能会：这些向量随后可以被存储在向量数据库
Bert模型详解与应用
最新发布
qq_52604211的博客
09-04 526
BERT（Bidirectional Encoder Representations from Transformers）是Google在2018年提出的革命性自然语言处理模型。它的核心思想是通过来学习深层的语言表示。
bert 生成文本句向量
shlhhy的博客
09-04 7172
之前生成文本句向量的方法是：训练词向量模型w2v，将句子中各词的向量进行平均，现在想尝试一下用bert模型生成句向量。 1.bert模型结构 all_encoder_layers： 经过transformer_model函数返回每个block的结果，即对应bert的12个Transformer层 sequence_output：bert最后一层的输出，不明白其与all_encoder_layers最后一层的输出有何不同？ 2. 加载bert模型 加载bert模型主要使用modeling文件中的相关函数
bert模型句子向量化
08-23
bert模型句子向量化
用bert生成中文句向量
scbl2017的博客
04-08 2831
使用bert_serving.client之前要先下载bert与训练模型，并在cmd中启动服务，才能运行以下程序，下面给出了用bert对列表里的句子进行向量化的方法，以及对应的维度。 # -*- coding:utf-8 -*- from bert_serving.client import BertClient # 先命令行启动服务 # bert-serving-start -model_...
快速使用 BERT 生成词向量：bert-as-service
热门推荐
P01son的博客
05-21 5万+
BERT 模型是一种 NLP 预训练技术，本文不介绍 BERT 的原理，主要关注如何快速上手使用 BERT 模型生成词向量用于下游任务。 Google 已经公开了 TensorFlow 版本的预训练模型和代码，可以用于生成词向量，但是还有更简单的方法：直接调用封装好的库 bert-as-service 。 使用 bert-as-service 生成词向量 bert-as-service 是腾讯...
从零开始在CentOS7服务器上搭建GPU深度学习环境，并部署bert向量化服务
Parabola S. R.的博客
01-04 978
从零开始在CentOS7服务器上搭建GPU深度学习环境，并部署bert向量化服务 0 前言 最近公司的研究项目有对文本进行BERT向量化的需求，在github上找到了bert-as-service这个开源项目，它提供pip安装，可以将bert向量化作为服务部署在服务器上，在客户端python脚本中通过简单的调用请求就可以得到词向量。相比自己调用bert源码，这种方法方便非常多。可以参考这篇知乎文章：两行代码玩转Google BERT句向量词向量 这篇文档将以公司的centos7服务器为例，介绍搭建GPU深度
手把手教 | 使用Bert预训练模型文本分类（内附源码）
数据派THU
03-12 1万+
作者：GjZero标签：Bert, 中文分类, 句子向量本文约1500字，建议阅读8分钟。本文从实践入手，带领大家进行Bert的中文文本分类和作为句子向量进行使用的教程。...
Python-BERT生成句向量BERT做文本分类文本相似度计算
08-10
本文基于Google开源的BERT代码进行了进一步的简化，方便生成句向量与做文本分类
一行代码使用BERT生成句向量，BERT做文本分类、文本相似度计算
11-03
一行代码使用BERT生成句向量，BERT做文本分类、文本相似度计算
使用BERT对句子进行向量化(TensorFlow版和Pytorch版)
ljp1919的专栏
06-06 1万+
背景 用BERT对句子进行向量化 实施 TensorFlow版直接用肖涵博士的bert-as-service。使用方法真的很小白，简单概括为2点：server和client安装。 pip install bert-serving-server # server pip install bert-serving-client # client, independent of `bert-serving-server` 在server安装完后，启动服务，比如：bert-serving-start -mod
bert-serving
NOAH_123456的博客
04-07 444
https://github.com/hanxiao/bert-as-service#using-bert-as-service-to-serve-http-requests-in-json 1、以http方式启动： bert-serving-start -model_dir=/Users/zard/Documents/NLP002/chinese_wwm_ext_L-12_H-768_A-12 -http_port 8125 2、安装http命令 pip install -U bert-serving-s
【NLP基础知识-bert向量化】BERT模型输出pooler_output和last_hidden_state详解和用法
志在创建优质博客、通俗易懂、助力大家提高学习效率！
10-09 6434
是一种预训练语言表示模型，由Google在2018年提出。它通过使用Transformer架构的编码器部分，能够捕捉到文本的双向上下文信息。BERT模型在自然语言处理（NLP）领域取得了革命性的进展，为各种下游任务提供了强大的基础。# 加载BertTokenizer和BertModel# 定义输入文本text = '这是一个测试句子'# 对输入文本进行分词和填充# 获取Bert模型的embedding结果# 输出结果。
利用bert-serving-server搭建bert词向量服务(一)
Vancl_Wang Blog
05-19 1万+
  Bert是去年谷歌发布的一款新模型，在11个主流NLP任务中都取得优异的结果，因此成为NLP领域最吸引人的一个模型。它的核心思想在于：作者认为语言表示 存在一个通用模型，而具体到专业领域，可以对通用模型进行精炼(fine-tune)来实现更加好的效果。从技术角度而言，它采用了transformer等技术搭建了一个更深的深度网络。 受限于作者能力，模型细节不能详细解释，大家可以参看官方介绍或51...
4-2 文本向量化
weixin_62115482的博客
07-10 3116
Word2Vec是由Google提出的一种词嵌入方法，通过训练神经网络，将词映射到一个连续的向量空间，使相似的词在向量空间中距离较近。TF-IDF（Term Frequency-Inverse Document Frequency）是一种改进的词袋模型，通过考虑词在文档中的频率和在整个语料库中的反向文档频率，衡量词的重要性。FastText是Facebook提出的一种改进的词嵌入方法，不仅考虑词本身，还考虑词的子词信息（如词根、词缀等），因此在处理罕见词和形态变化丰富的语言时表现更好。
使用bert将中文文本转化成词向量的方法
旧时佑忆的空间
03-21 3万+
方法一： https://github.com/hanxiao/bert-as-service详情参考该github 使用肖涵博士的bert-as-service，这里笔者使用的为python3.5，tensorflow1.13版本，同时还需要pip安装如下几个包， pip install bert-serving-server pip installbert-serving-cli...
如何用bert训练词向量模型？
07-16
使用 BERT 训练自定义词向量模型通常并不涉及从头开始训练整个 BERT 模型，因为这需要大量的计算资源和语料数据。更常见的方式是基于已有的预训练 BERT 模型进行微调（fine-tuning）或提取嵌入向量来生成特定任务下的词向量表示。 以下是使用 BERT 获取自定义词向量的步骤与方法： ### 1. 使用 Hugging Face Transformers 库加载预训练 BERT 模型 首先，可以使用 `transformers` 库加载一个预训练的 BERT 模型及其对应的 tokenizer： ```python from transformers import BertTokenizer, BertModel import torch # 加载预训练的 BERT 模型和对应的 tokenizer tokenizer = BertTokenizer.from_pretrained('bert-base-chinese') model = BertModel.from_pretrained('bert-base-chinese') ``` ### 2. 对输入文本进行编码 使用 tokenizer 将输入文本转换为 BERT 可以处理的 token ID 和 attention mask： ```python text = "这是一个示例句子" inputs = tokenizer(text, return_tensors='pt', padding=True, truncation=True) ``` ### 3. 获取 BERT 的输出并提取词向量 将输入传递给 BERT 模型，并提取最后一层隐藏状态作为词向量： ```python with torch.no_grad(): outputs = model(**inputs) # last_hidden_state 是所有 token 的嵌入向量，形状为 [batch_size, sequence_length, hidden_size] last_hidden_state = outputs.last_hidden_state ``` ### 4. 提取特定 token 或句子的向量表示 - **获取某个 token 的向量**：可以通过索引访问特定位置的 token 向量。 ```python token_vector = last_hidden_state[0][1] # 第二个 token 的向量表示 ``` - **获取整个句子的向量表示**：通常采用 `[CLS]` token 的向量作为整个句子的表示： ```python sentence_vector = last_hidden_state[0][0] # [CLS] token 的向量 ``` ### 5. 微调 BERT 模型以适应特定任务 如果目标是让 BERT 更好地理解特定领域的词汇或上下文，可以对 BERT 进行微调。微调的基本流程包括： - 准备标注好的训练数据； - 定义下游任务的分类头（如用于文本分类、命名实体识别等）； - 使用 `Trainer` 类进行训练； ```python from transformers import Trainer, TrainingArguments training_args = TrainingArguments( output_dir='./results', num_train_epochs=3, per_device_train_batch_size=8, per_device_eval_batch_size=8, evaluation_strategy="epoch", logging_dir='./logs', ) trainer = Trainer( model=model, args=training_args, train_dataset=train_dataset, eval_dataset=eval_dataset, ) ``` ### 6. 部署与服务化（可选） 若需大规模部署 BERT 嵌入服务，可使用 `bert-serving-server` 提供远程调用接口[^3]。这种方式适合构建 API 接口，便于多客户端并发请求获取词向量。 ---
评论 5
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值