[日常] 从零安装bert-as-a-service (Python = 3.7, tensorflow= 1.15.0)

最新推荐文章于 2023-07-08 22:48:22 发布
VIP文章 最新推荐文章于 2023-07-08 22:48:22 发布
阅读量1.5k 收藏 7
点赞数 4
分类专栏： 日常
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43873801/article/details/114536212
版权

1. 废话

  • 众所周知Python写工程最麻烦的就是配环境，你永远不知道某个库哪个版本更新又删掉/修改了一个API，和其他库有没有兼容性问题，如果你正在尝试某一套没人试过的版本组合，那么只能祝你好运，最好别在这毫无产出的事情上花去两个小时，比如我。

2. 你应当知道的

  • BERT是Google推出的预训练模型，自然是用Google家的tensorflow来训练的。
  • 但是现在往往是pytorch用的比较多，那么如何把bert应用到pytorch项目中呢，这就用到了bert-as-a-service这个库。
  • 作为服务端，可以新开一个虚拟环境（笔者用conda），从新安装tensorflow和bert-serving-server。
  • 作为客户端，可以使用原来的pytorch的环境，只需要安装bert-serving-client。
  • 服务端和客户端是使用websocket来通信的，即网络，意味着你可以把两者装到不同的主机上，也可以装到相同的主机上。
  • 安装的bert-as-a-service并不包含具体的数据文件，请查阅hanxiao_bert-as-service_ Mapping a variable-length sentence to a fixed-length vector using BERT model.html中的List of released pretrained BERT models (click to expand...)
最低0.47元/天 解锁文章
Lupinus_Linn
关注
  • 4
    点赞
  • 踩
  • 7
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
Bert-as-service启动失败问题解决
weixin_43666478的博客
07-22 2616
bert-serving-start启动失败问题配置解决方法 问题 想得到Bert编码的词向量或句向量之间的相似度，在fork hanxiao博士的Bert as service时，出现了如下几个问题： > bert-serving-start: command not found > Nonetype is not iteralble 第二个问题是把下载好的bert预训练模型的绝对路径指定给 model_dir参数即可。 第一个问题在原项目的issue里并没有找到有效的解决方式，做过的尝试有
极简bert-as-service使用与部署，以bert+sklearn实现两个词的相似度
风闻有BUG
03-17 2312
# bert-as-service的安装&部署 1. 安装 python 3 环境 2. 部署自然语言模型 2.1 下载模型压缩包 2.2 解压压缩包 2.3 安装 python 依赖包 2.4 启动模型 2.5 windows启动模型脚本 linux启动bert-as-serving linux启动模型脚本 # bert+sklearn实现两个词的相似度
bert-as-service 计算相似度
tankpanv的博客
11-04 328
安装python3 依赖 pip install bert_serving pip install bert-serving-server==1.10.0 # 服务端 pip install bert-serving-client==1.10.0 # 客户端，与服务端互相独立 pip install tensorflow==1.15.0 (>=1.13.1) wget https://storage.googleapis.com/bert_models/2018_11_03/chinese_L-
bert-as-a-service_TFX
03-17
bert-as-a_service_TFX
快速使用 BERT 生成词向量：bert-as-service
热门推荐
P01son的博客
05-21 5万+
BERT 模型是一种 NLP 预训练技术，本文不介绍 BERT 的原理，主要关注如何快速上手使用 BERT 模型生成词向量用于下游任务。 Google 已经公开了 TensorFlow 版本的预训练模型和代码，可以用于生成词向量，但是还有更简单的方法：直接调用封装好的库 bert-as-service 。 使用 bert-as-service 生成词向量 bert-as-service 是腾讯...
bert-as-service 详细使用指南写给初学者
qq_18256855的博客
03-31 4061
一．背景 1. 关于bert-as-service的github开源项目地址： https://github.com/hanxiao/bert-as-service 2. 简述 bert-as-service主要功能是将我们预训练的BERT模型封装后当作一种服务来提供给客户端使用。 3. 示意图 4. 示意图解释 ① BERT基于数据集进行预训练后，获得一个预训练模型； ② 然后，基于下游任务（问答，完形填空，命名实体识别等）进行微调； ③ 基于bert-as-service将模型进行
bert as service
kyle1314608的博客
12-01 811
BERT 模型是一种 NLP 预训练技术，本文不介绍 BERT 的原理，主要关注如何快速上手使用 BERT 模型生成词向量用于下游任务。 Google 已经公开了 TensorFlow 版本的预训练模型和代码，可以用于生成词向量，但是还有更简单的方法：直接调用封装好的库 bert-as-service 。 使用 bert-as-service 生成词向量 bert-as-service 是腾讯 AI Lab 开源的一个 BERT 服务，它让用户可以以调用服务的方式使用 BERT 模型而不需要关注 B
bert-as-service配置
余欲与鱼语渔
07-08 147
【代码】bert-as-service配置。
Python 教你3分钟用Bert搭建问答搜索引擎
z099164的博客
01-10 1399
鼎鼎大名的 Bert 算法相信大部分同学都听说过，它是Google推出的NLP领域“王炸级”预训练模型，其在NLP任务中刷新了多项记录，并取得state of the art的成绩。 但是有很多深度学习的新手发现BERT模型并不好搭建，上手难度很高，普通人可能要研究几天才能勉强搭建出一个模型。 没关系，今天我们介绍的这个模块，能让你在3分钟内基于BERT算法搭建一个问答搜索引擎。它就是bert-as-service项目。这个开源项目，能够让你基于多GPU机器快速搭建BERT服务（支持微调模型...
bert-as-service：使用BERT模型将可变长度句子映射到固定长度向量
02-03
您在寻找X即服务吗？ 试试！ X可以是albert，pytorch-transformer，vgg，resnet，videobert或任何深度学习表示模型吗？ •••• • 了解如何使用Jina通过任何深度学习表示来提取特征向量 伯特即服务 使用BERT模型作为句子编码服务，即将可变长度的句子映射到固定长度的向量。 •••• •••• 韩晓制作• :globe_with_meridians: 它是什么 BERT是为预训练语言表示而的NLP模型。 它利用了在网络上公开提供的大量纯文本数据，并且以无人监督的方式进行了培训。 对于每种语言而言，预训练BERT模型是一项相当昂贵但一次性的过程。 幸运的是，Google发布了一些经过预先训练的模型，。 句子编码/嵌入是许多NLP应用程序所需的上游任务，例如，情绪分析，文本分类。 目标是将可变长度句子表示为固定长度向量，例如[0.1, 0.3, 0.9] hello world 。 向量的每个元素都应“编码”原始句子的某些语义。 最后， bert-as-service使用BERT作为句子编码器，并通过ZeroMQ将其托管为服务，从而使
Python-使用BERT模型作为句子编码服务将可变长度句子映射到固定长度向量
08-11
使用BERT模型作为句子编码服务，将可变长度句子映射到固定长度向量。
bert-chinese-ner：使用预训练语言模型BERT做中文NER
02-06
伯特·中国人 前言 ... python BERT_NER.py --data_dir=data/ --bert_config_file=checkpoint/bert_config.json --init_checkpoint=checkpoint/bert_model.ckpt --vocab_file=vocab.txt --output_d
bert-base-uncased 预训练模型
01-12
来自 https://huggingface.co/bert-base-uncased/tree/main
bert-extractive-summarizer:BERT易于使用的提取文本摘要
05-04
pip install bert-extractive-summarizer 使用Neurocoref的共指功能需要一个spaCy模型，该模型必须单独下载。 默认模型是小型英语spaCy模型（en_core_web_sm，11Mb），并随此软件包自动安装。 要使用其他型号，您...
BERT-QE:论文“BERT-QE”的代码和资源
05-31
BERT-QE 此 repo 包含该论文的代码和资源： 。 在ACL 的发现：EMNLP 2020 中。 介绍 BERT-QE 利用 BERT 的优势来选择相关的文档块进行查询扩展。 BERT-QE 模型由三个阶段组成，其中可以使用不同大小的 BERT 模型来...
[日常] 为OpenEuler安装图形界面
A land whole of flowers.
09-30 1万+
这半学期有操作系统课程，因为学校与华为有合作，所以使用的发行版是OpenEuler。 但是OpenEuler默认是没有桌面环境的，登陆即进bash。 我知道用命令也行，可我就是想用图形界面。 1. 检查网络连接 ping一下百度看网络通不通，因为之后要从软件源下软件。 ping www.baidu.com 这一步看着有点无厘头，因为之前我的VMware服务出了一点问题，NAT服务没法启动，如果你也有这个问题（症状：从物理机ping虚拟机的IP(登陆的欢迎信息有写)没有回复，SSH自然也连不上了），可以将V
[日常] 两位8421BCD码能够整除4的条件
A land whole of flowers.
09-23 507
设两个8421BCD数字分别为A、B，其写成一个两位十进制数为AB，其二进制总共八位，写成比特串是a3a2a1a0b3b2b1b0a_3a_2a_1a_0b_3b_2b_1b_0a3​a2​a1​a0​b3​b2​b1​b0​ 则AB=10∗(8a3+4a2+2a1+a0)+8b3+4b2+2b1+b0AB=10*(8a_3+4a_2+2a_1+a_0)+8b_3+4b_2+2b_1+b_0AB=10∗(8a3​+4a2​+2a1​+a0​)+8b3​+4b2​+2b1​+b0​ 即AB=80a3+40a2
linux 安装bert-as-service
最新发布
07-28
要在Linux上安装bert-as-service，您可以按照以下步骤进行操作： 1. 确保您的系统已经安装了Python 3.6+。 2. 打开终端，并创建一个新的虚拟环境（可选）： ``` python3 -m venv bert_env source bert_env/bin/activate ``` 3. 在虚拟环境中，使用pip安装bert-as-service： ``` pip install bert-serving-server bert-serving-client ``` 4. 下载预训练的BERT模型： ``` mkdir bert_model cd bert_model wget https://storage.googleapis.com/bert_models/2020_02_20/uncased_L-12_H-768_A-12.zip unzip uncased_L-12_H-768_A-12.zip ``` 5. 启动BERT服务： ``` bert-serving-start -model_dir /path/to/bert_model/uncased_L-12_H-768_A-12/ -num_worker=1 ``` 请将路径`/path/to/bert_model/uncased_L-12_H-768_A-12/`替换为您实际的BERT模型路径。 6. 在另一个终端中，您可以使用bert-as-service客户端来与BERT服务进行通信： ```python from bert_serving.client import BertClient with BertClient(ip='localhost', port=5555, port_out=5556) as client: # 在这里使用BERT服务进行编码 pass ``` 这样，您就可以在Linux上安装和使用bert-as-service了。希望对您有帮助！

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值