Bert-as-service 学习

已于 2024-02-28 13:31:25 修改
阅读量594 收藏 11
点赞数 3
文章标签： bert 学习 人工智能
于 2024-02-27 16:06:27 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wangqiaowq/article/details/136324487
版权 
pip3 install --user --upgrade tensorflow

安装遇到的问题如下：

pip3 install --user --upgrade tensorflow 
 1052  pip uninstall protobuf
 1053  pip3 uninstall protobuf
 1054  pip3 install protobuf==3.20.*
 1055  pip3 install open-clip-torch==2.8.2
 1056  pip3 install --user --upgrade tensorflow 
 1057  pip uninstall protobuf
 1058  pip3 uninstall protobuf
 1059  pip3 install protobuf==3.20.*
 1060  pip3 install --user --upgrade tensorflow 
 1061  pip install protobuf==3.20.*
 

tensorflow-2.11

bert-as-service, 依赖于 python≥3.5 AND tensorflow≥1.10;

参考：Bert- as-service安装和使用教程_bert进入端口-CSDN博客

参考：https://tensorflow.google.cn/install/pip?hl=zh-cn#system-install

BERT 服务化 bert-as-service - 01码匠 - 博客园 (cnblogs.com)

https://blog.csdn.net/luhuibo318/article/details/104925892

下载 https://storage.googleapis.com/bert_models/2018_11_03/chinese_L-12_H-768_A-12.zip

pip3 install bert-serving-server

pip3 install bert-serving-client

pip install bert-serving-server

pip install bert-serving-client

  1. 进入chinese_L-12_H-768_A-12同级目录执行下面命令

python3 start-bert-as-service.py -model_dir /opt/dockerinstall/python3/bert-model/chinese_L-12_H-768_A-12/ -num_worker=2

bert-serving-start -model_dir /opt/dockerinstall/python3/bert-model/chinese_L-12_H-768_A-12/ -num_worker=2

import sys

from bert_serving.server import BertServer
from bert_serving.server.helper import get_run_args


if __name__ == '__main__':
    args = get_run_args()
    server = BertServer(args)
    server.start()
    server.join()

tensorflow 版本太高

安装 pip3 install tensorflow==1.14.0

sudo yum update libstdc++
参考：https://blog.csdn.net/my__blog/article/details/123703024

https://blog.csdn.net/qq_50665031/article/details/108987205

最后启动成功：

待测试：nohup bert-serving-start -model_dir ./chinese_L-12_H-768_A-12/ -num_worker=1 > bert.log 2>&1 &

nohup python3 start-bert-as-service.py -model_dir /opt/dockerinstall/python3/bert-model/chinese_L-12_H-768_A-12/ -num_worker=2  > bert.log 2>&1 &

nohup python3 -m uvicorn main:app --host 192.168.1.243 --port 5001?> bertweb.log 2>&1 &

潇锐killer
关注
  • 3
    点赞
  • 踩
  • 11
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
bert-as-service简单使用
回炉重造P的博客
11-24 1633
BERT训练语料集合生成预训练词向量模型，能用在下游任务中。和Word2vec比，个人觉得它最大的好处在于词缺失的时候，能词条化和短词的词向量匹配，这样能避免丢掉太多语义，比如promax不存在，BERT就会返回pro###和###max，这样也能有效获取语义。 BERT12层的transformer，自己训练一次开销巨大，为了快速使用BERT生成词向量而不去直接训练，利用bert-as-service封装库来实现预训练结果的读取。 预训练结果 BERT谷歌官方在github中给出了几个不同类型的已训练好的
bert-as-service的优化浅析
YW_Vine的博客
10-20 373
一、服务部署 使用zeroMQ的Python实现PyZMQ，它提供了轻量级和快速的消息传递实现。C/S消息传递的简单使用示例如下： import zmq import zmq.decorators as zmqd @zmqd.socket(zmq.PUSH) def send(sock): sock.bind('tcp://*:5555') sock.send(b'hello') # in another process @zmqd.socket(zmq.PULL) def re
bert-as-service：使用BERT模型将可变长度句子映射到固定长度向量
02-03
您在寻找X即服务吗？ 试试！ X可以是albert，pytorch-transformer，vgg，resnet，videobert或任何深度学习表示模型吗？ •••• • 了解如何使用Jina通过任何深度学习表示来提取特征向量 伯特即服务 使用BERT模型作为句子编码服务，即将可变长度的句子映射到固定长度的向量。 •••• •••• 韩晓制作• :globe_with_meridians: 它是什么 BERT是为预训练语言表示而的NLP模型。 它利用了在网络上公开提供的大量纯文本数据，并且以无人监督的方式进行了培训。 对于每种语言而言，预训练BERT模型是一项相当昂贵但一次性的过程。 幸运的是，Google发布了一些经过预先训练的模型，。 句子编码/嵌入是许多NLP应用程序所需的上游任务，例如，情绪分析，文本分类。 目标是将可变长度句子表示为固定长度向量，例如[0.1, 0.3, 0.9] hello world 。 向量的每个元素都应“编码”原始句子的某些语义。 最后， bert-as-service使用BERT作为句子编码器，并通过ZeroMQ将其托管为服务，从而使
BERT 服务化 bert-as-service
记忆碎片
03-03 2648
原文 bert-as-service 用 BERT 作为句子编码器, 并通过 ZeroMQ 服务托管, 只需两行代码就可以将句子映射成固定长度的向量表示; 准备 windows10 + python3.5 + tensorflow1.2.1 安装流程 安装 tensorflow, 参考 安装 bert-as-service bert-as-service, 依赖于 python≥3.5 AND tensorflow≥1.10; pip install bert-serving-server pip in
bert as service
kyle1314608的博客
12-01 903
BERT 模型是一种 NLP 预训练技术，本文不介绍 BERT 的原理，主要关注如何快速上手使用 BERT 模型生成词向量用于下游任务。 Google 已经公开了 TensorFlow 版本的预训练模型和代码，可以用于生成词向量，但是还有更简单的方法：直接调用封装好的库 bert-as-service 。 使用 bert-as-service 生成词向量 bert-as-service 是腾讯 AI Lab 开源的一个 BERT 服务，它让用户可以以调用服务的方式使用 BERT 模型而不需要关注 B
bert-as-service环境搭建
Maple470的博客
12-07 1306
环境要求 本文在anaconda虚拟环境中故先切换至预先装好的有TensorFlow的环境下再安装。 Python>=3.5 Tensorflow>=1.10 安装 pip install bert-serving-server # 服务端 pip install bert-serving-client # 客户端 下载预训练模型 bert-as-service官方链接：https...
bert应用 ：bert as service
Rainbow
07-22 247
文章目录pip下载预训练的BERT模型启动BERT service https://gitee.com/IndoorsNum31/bert-as-service?_from=gitee_search pip pip install bert-serving-server # server pip install bert-serving-client # client 如果装不上，则从网上下载安装包 https://pypi.org/project/bert-serving-server/#files
bert-as-service的使用
weixin_37638269的博客
05-23 4554
github地址：https://github.com/hanxiao/bert-as-service 谷歌训练的bert使用的是tensorflow，若想使用GPU加速，需要安装相应的驱动和软件，并使用tensorflow-gpu代替常规tensorflow python包，需要的软件及安装步骤见附件; text file 服务器端创建虚拟环境并在该环境中安装相应的python包，注意一定要使用...
bert-as-a-service_TFX
03-17
【描述】"bert-as-a_service_TFX" 提供了一种在生产环境中集成BERT模型的方法，通过将BERT模型与TFX框架相结合，可以实现大规模机器学习（ML）操作的持续集成和部署（MLOps）。TFX是Google开发的一个全面的端到端...
Python-使用BERT模型作为句子编码服务将可变长度句子映射到固定长度向量
08-11
使用BERT模型作为句子编码服务，将可变长度句子映射到固定长度向量。
使用bert-as-service简单快速生成词向量
技术无止境，人生仍探索。
06-11 1510
下载依赖: pip install bert-serving-server pip install bert-serving-client 下载预训练好的中文模型： 中文模型地址 启动bert-serving-start $ cd /usr/local/bin # 替换为自己的地址 $ bert-serving-start -model_dir /bertdemo/chinese_L-12_H-768_A-12 编写脚本 # train.py from bert_serving.client im
BERT-as-service 时隔三年突然更新，这次连名儿都改了
Jina AI 的博客
03-30 2466
无需担心复杂的实现细节，只需简单调用 API，就可以为文本和图像创建 SOTA 表征向量。 从 BERT 到 BERT-as-service 2018 年 9 月，Google 一篇 BERT 模型相关论文引爆全网：该自然语言模型，在机器阅读理解顶级水平测试 SQuAD1.1 中，连破 11 项 NLP 测试记录，两个衡量指标全面超越人类。 BERT: Pre-training of Deep Bidirectional Transformers for Language Understandin.
bert-as-service三行代码使用bert模型
热门推荐
accumulate_zhang的博客
04-10 2万+
bert火了，许多应用都可以直接使用bert模型生成embedding。今天记录下很好用的工具，bert-as-service。 我的环境是在macOS下的。 先一顿pip， pip install bert-serving-server # server pip install bert-serving-client # client, independent of `bert...
NLP-bert-as-service的简单使用
Huoyo
10-25 1261
一、简要说明 Bert火遍了2019，不少修行者跃跃欲试，然而训练bert模型是一次很昂贵的过程，想简单地先享受一下成果变得有些困难。幸而google已发布了一些预训练好的模型，修行者可以通过一些捷径轻松的使用bert模型构建自己的NLP应用，详细可参考 https://github.com/google-research/bert#pre-trained-models https://github.com/hanxiao/bert-as-service 本文将对文本句子进行向量编码，通过文本相似度计算来说
bert-as-service 详细使用指南写给初学者
qq_18256855的博客
03-31 4356
一．背景 1. 关于bert-as-service的github开源项目地址： https://github.com/hanxiao/bert-as-service 2. 简述 bert-as-service主要功能是将我们预训练的BERT模型封装后当作一种服务来提供给客户端使用。 3. 示意图 4. 示意图解释 ① BERT基于数据集进行预训练后，获得一个预训练模型； ② 然后，基于下游任务（问答，完形填空，命名实体识别等）进行微调； ③ 基于bert-as-service将模型进行
bert-as-service 初探
pochy的博客
05-12 1465
安装 pip install bert-serving-server # server pip install bert-serving-client # client, independent of `bert-serving-server` 要求 （1）Python >= 3.5 （2）Tensorflow >= 1.10 （3）不支持Python2！！！ 准备工作 1、从以下列表里面下载好预训练的BERT模型，解压在某个文件夹中，例如：/model/chinese_L-12_H-76
bert-as-service使用
kyle1314608的博客
12-04 941
BERT 模型是一种 NLP 预训练技术，本文不介绍 BERT 的原理，主要关注如何快速上手使用 BERT 模型生成词向量用于下游任务。 Google 已经公开了 TensorFlow 版本的[预训练模型和代码] （https://github.com/google-research/bert），可以用于生成词向量，但是还有更简单的方法：直接调用封装好的库 bert-as-service 。 使用 bert-as-service 生成词向量 bert-as-service 是腾讯 AI Lab 开源的一个
手把手教你使用bert-as-service----从环境配置到文本相似度计算
beilizhang的博客
08-28 2395
主要参考：https://github.com/hanxiao/bert-as-service 什么是bert-as-service bert-as-service是腾讯AILab实验室开源的一款Bert调用工具，分为服务端和客户端两个部分，服务端用于部署模型，客户端用于访问模型。只需几行代码，就可以得到句子或词的嵌入（embedding）。 为了简便，本文将服务端和客户端安装在同一计算机。 环境配置 使用bert-as-service最容易踩坑的地方就是环境配置了，很多莫名其妙的错误都源于此。 推荐的环境
linux 安装bert-as-service
最新发布
07-28
要在Linux上安装bert-as-service，您可以按照以下步骤进行操作： 1. 确保您的系统已经安装了Python 3.6+。 2. 打开终端，并创建一个新的虚拟环境（可选）： ``` python3 -m venv bert_env source bert_env/bin/...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值