[日常] 从零安装bert-as-a-service (Python = 3.7, tensorflow= 1.15.0)

最新推荐文章于 2024-09-14 07:12:30 发布
最新推荐文章于 2024-09-14 07:12:30 发布
阅读量1.6k 收藏 6
点赞数 4
分类专栏： 日常
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43873801/article/details/114536212
版权
本文档详细介绍了如何在Python 3.7环境中，从零开始搭建TensorFlow 1.15.0和bert-as-a-service，用于将BERT模型应用于PyTorch项目。内容包括创建新环境、安装tensorflow和bert-serving-server、解决兼容性问题，以及安装和测试bert-serving-client。特别指出，bert-as-a-service与TensorFlow 2.x存在兼容性问题，且TensorFlow 1.15.0不支持Python 3.8。
摘要由CSDN通过智能技术生成

1. 废话

  • 众所周知Python写工程最麻烦的就是配环境，你永远不知道某个库哪个版本更新又删掉/修改了一个API，和其他库有没有兼容性问题，如果你正在尝试某一套没人试过的版本组合，那么只能祝你好运，最好别在这毫无产出的事情上花去两个小时，比如我。

2. 你应当知道的

  • BERT是Google推出的预训练模型，自然是用Google家的tensorflow来训练的。
  • 但是现在往往是pytorch用的比较多，那么如何把bert应用到pytorch项目中呢，这就用到了bert-as-a-service这个库。
  • 作为服务端，可以新开一个虚拟环境（笔者用conda），从新安装tensorflow和bert-serving-server。
  • 作为客户端，可以使用原来的pytorch的环境，只需要安装bert-serving-client。
  • 服务端和客户端是使用websocket来通信的，即网络，意味着你可以把两者装到不同的主机上，也可以装到相同的主机上。
  • 安装的bert-as-a-service并不包含具体的数据文件，请查阅hanxiao_bert-as-service_ Mapping a variable-length sentence to a fixed-length vector using BERT model.html中的List of released pretrained BERT models (click to expand...)
最低0.47元/天 解锁文章
Lupinus_Linn
关注
专栏目录
chinese_wwm_ext_pytorch.zip
09-21
哈工大发布的BERT WWM-EXT版预训练模型
bert-as-service 详细使用指南写给初学者
qq_18256855的博客
03-31 4457
一．背景 1. 关于bert-as-service的github开源项目地址： https://github.com/hanxiao/bert-as-service 2. 简述 bert-as-service主要功能是将我们预训练的BERT模型封装后当作一种服务来提供给客户端使用。 3. 示意图 4. 示意图解释 ① BERT基于数据集进行预训练后，获得一个预训练模型； ② 然后，基于下游任务（问答，完形填空，命名实体识别等）进行微调； ③ 基于bert-as-service将模型进行
探索BERT-as-Service：将BERT模型转化为高效的句子编码服务
最新发布
gitblog_00294的博客
09-14 1018
探索BERT-as-Service：将BERT模型转化为高效的句子编码服务 bert-as-service Mapping a variable-length sentence to a fixed-length vector using BERT model ...
NLP实战：Pytorch实现6大经典深度学习中文短文本分类-bert+ERNIE+bert_CNN+bert_RNN+bert_RCNN+bert_DPCNN
小胡说人工智能的博客
07-09 7016
本文基于PyTorch框架，实现了6种经典的深度学习中文文本分类模型，这些模型包括基于Transformer模型的Bert和ERNIE，以及结合卷积神经网络、循环神经网络和深度金字塔卷积神经网络的bert_CNN、bert_RNN、bert_RCNN和bert_DPCNN，并对各模型进行了训练与结果比较。
在BERT与ElasticSearch进行词向量搜索中遇到的各种坑
hforever99的博客
11-02 2052
想做一个基于词向量搜索的问答系统，参考github代码修改后，用于自己的项目。但是BERT、ElasticSearch都是第一次接触，遇到了各种各样的问题，断断续续花了四五天才跑通。
windows环境bert_embedding安装指南
xunyishuai5020的博客
01-10 1881
BERT是自然语言处理中重要的词向量编码技术，在python开发环境下，它通过bert_embedding提供便捷的实现API。 不知道大家安装bert_embedding包的过程是否都很顺利？本文记录作者安装过程中碰到的两个问题，帮大家扫除困境。 1、安装bert_embedding失败报错 随着最近Python版本的更新，作者在python3.8环境下安装bert_embedding失败报如下图所示的一长串错误： 这验证这是python版本过新引起的错误，改换python3.7后顺利安装成功。 2、w
bert as service
kyle1314608的博客
12-01 935
BERT 模型是一种 NLP 预训练技术，本文不介绍 BERT 的原理，主要关注如何快速上手使用 BERT 模型生成词向量用于下游任务。 Google 已经公开了 TensorFlow 版本的预训练模型和代码，可以用于生成词向量，但是还有更简单的方法：直接调用封装好的库 bert-as-service 。 使用 bert-as-service 生成词向量 bert-as-service 是腾讯 AI Lab 开源的一个 BERT 服务，它让用户可以以调用服务的方式使用 BERT 模型而不需要关注 B
bert-as-a-service_TFX
03-17
【标题】"bert-as-a-service_TFX" 是一个利用TFX（TensorFlow Extended）构建的项目，旨在将BERT模型作为服务来提供，便于在自然语言处理（NLP）任务中高效利用预训练的BERT模型。 【描述】"bert-as-a_service_TFX...
bert-chinese-ner：使用预训练语言模型BERT做中文NER
02-06
伯特·中国人 前言 ... python BERT_NER.py --data_dir=data/ --bert_config_file=checkpoint/bert_config.json --init_checkpoint=checkpoint/bert_model.ckpt --vocab_file=vocab.txt --output_d
bert-as-service：使用BERT模型将可变长度句子映射到固定长度向量
02-03
您在寻找X即服务吗？ 试试！X可以是albert，pytorch-transformer，vgg，resnet，videobert或任何深度学习表示模型吗？... 最后， bert-as-service使用BERT作为句子编码器，并通过ZeroMQ将其托管为服务，从而使
bert-extractive-summarizer:BERT易于使用的提取文本摘要
05-04
pip install bert-extractive-summarizer 使用Neurocoref的共指功能需要一个spaCy模型，该模型必须单独下载。 默认模型是小型英语spaCy模型（en_core_web_sm，11Mb），并随此软件包自动安装。 要使用其他型号，您...
bert-base-uncased 预训练模型
01-12
来自 https://huggingface.co/bert-base-uncased/tree/main
Python 教你3分钟用Bert搭建问答搜索引擎
z099164的博客
01-10 1739
鼎鼎大名的 Bert 算法相信大部分同学都听说过，它是Google推出的NLP领域“王炸级”预训练模型，其在NLP任务中刷新了多项记录，并取得state of the art的成绩。 但是有很多深度学习的新手发现BERT模型并不好搭建，上手难度很高，普通人可能要研究几天才能勉强搭建出一个模型。 没关系，今天我们介绍的这个模块，能让你在3分钟内基于BERT算法搭建一个问答搜索引擎。它就是bert-as-service项目。这个开源项目，能够让你基于多GPU机器快速搭建BERT服务（支持微调模型...
bert-as-service配置
余欲与鱼语渔
07-08 206
【代码】bert-as-service配置。
快速使用 BERT 生成词向量：bert-as-service
热门推荐
P01son的博客
05-21 5万+
BERT 模型是一种 NLP 预训练技术，本文不介绍 BERT 的原理，主要关注如何快速上手使用 BERT 模型生成词向量用于下游任务。 Google 已经公开了 TensorFlow 版本的预训练模型和代码，可以用于生成词向量，但是还有更简单的方法：直接调用封装好的库 bert-as-service 。 使用 bert-as-service 生成词向量 bert-as-service 是腾讯...
Bert-as-service 学习
wangqiaowq的博客
02-27 619
bert-as-service, 依赖于。
bert-as-service 初探
pochy的博客
05-12 1482
安装 pip install bert-serving-server # server pip install bert-serving-client # client, independent of `bert-serving-server` 要求 （1）Python >= 3.5 （2）Tensorflow >= 1.10 （3）不支持Python2！！！ 准备工作 1、从以下列表里面下载好预训练的BERT模型，解压在某个文件夹中，例如：/model/chinese_L-12_H-76
基于tensorflow-hub使用预训练bert模型——简单易上手成功率百分百
NOT_GUY的博客
10-02 3854
最近，研究了下如何使用基于tensorflow-hub中预训练bert，一开始找到的关于预模型使用介绍的官方教程国内打不开，所以看了很多博客遇到了很多坑，直至最后找到能打开的教程，才发现使用很简单。 实验版本： tensorflow版本: 2.3.0 tensorflow-hub版本：0.9.0 python版本: 3.7.6 数据准备： 首先，熟悉bert的都知道输入有3个：input_ids、input_mask、seg...
linux 安装bert-as-service
07-28
要在Linux上安装bert-as-service，您可以按照以下步骤进行操作： 1. 确保您的系统已经安装了Python 3.6+。 2. 打开终端，并创建一个新的虚拟环境（可选）： ``` python3 -m venv bert_env source bert_env/bin/activate ``` 3. 在虚拟环境中，使用pip安装bert-as-service： ``` pip install bert-serving-server bert-serving-client ``` 4. 下载预训练的BERT模型： ``` mkdir bert_model cd bert_model wget https://storage.googleapis.com/bert_models/2020_02_20/uncased_L-12_H-768_A-12.zip unzip uncased_L-12_H-768_A-12.zip ``` 5. 启动BERT服务： ``` bert-serving-start -model_dir /path/to/bert_model/uncased_L-12_H-768_A-12/ -num_worker=1 ``` 请将路径`/path/to/bert_model/uncased_L-12_H-768_A-12/`替换为您实际的BERT模型路径。 6. 在另一个终端中，您可以使用bert-as-service客户端来与BERT服务进行通信： ```python from bert_serving.client import BertClient with BertClient(ip='localhost', port=5555, port_out=5556) as client: # 在这里使用BERT服务进行编码 pass ``` 这样，您就可以在Linux上安装和使用bert-as-service了。希望对您有帮助！
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值