Bert学习笔记--安装篇

最新推荐文章于 2024-05-08 07:48:34 发布
最新推荐文章于 2024-05-08 07:48:34 发布
阅读量962 收藏 31
点赞数 8
分类专栏： bert 情感分析 文章标签： bert 学习 笔记
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2401_82949788/article/details/136116494
版权
本文介绍了BERT模型，特别是ChineseBERT-wwm，其基于Transformer架构，通过全词遮罩技术处理中文分词。文章详细讲解了如何下载、配置环境、安装TensorFlow和PyTorch，以及如何将TensorFlow模型转换为PyTorch版本，以适应Fine-tune在各种NLP任务中的使用。
摘要由CSDN通过智能技术生成

零、模型概述

BERT是一个迁移能力很强的通用语义表示模型，以Transformer为网络基本组件，以Masked Bi-Language Model和Next Sentence Prediction为训练目标，通过预训练得到通用语义表示，再结合简单的输出层，应用到下游的NLP任务，在多个任务上取得了SOTA的结果。chinese_bert_wwm是支持中文的BERT模型，它采用全词遮罩（Whole Word Masking）技术，考虑到了中文分词问题。预训练数据集为中文维基百科。该PaddleHub Module只支持Fine-tune。当该PaddleHub Module用于Fine-tune时，其输入是单文本（如Fine-tune的任务为情感分类等）或文本对（如Fine-tune任务为文本语义相似度匹配等），可用于文本分类、序列标注、阅读理解等任务。

一、准备工作

1、下载

  • 下载goole-bert：https://github.com/google-research/bert
  • 下载anaconda: https://www.anaconda.com/products/distribution#macos
  • 下载pycharm：https://www.jetbrains.com/pycharm/download/#section=windows

2、conda换源

在anaconda prompt 里执行：

conda config --set show_channel_urls yes

在用户目录下建立了.condarc文件，地址为C:\Users(你的用户名).condarc添加清华源

 添加如下字段：

channels:
 - http://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
 - http://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/
 - http://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/conda-forge/
show_channel_urls: true

二、anaconda配置

打开anaconda prompt

1、新建虚拟环境

conda create --name Bert python=3.9

2、进入虚拟环境

conda activate Bert

三、下载tensorflow、pytorch及模型

1、下载tensorflow（以下教程为下载2.x版本，但bert需要1.x版本才能用，请自行在官网搜寻1.x版本安装方法）

以下教程为下载2.x版本，但bert需要1.x版本才能用，请自行在官网搜寻1.x版本安装方法（1.x版本区分cpu和gpu）

1）查看是否支持cuda

在命令行输入如下代码：

nvidia-smi

本机CUDA版本为12.1，支持cuda，可以使用gpu

2）官网查看安装信息

网址为： https://www.tensorflow.org/install?hl=zh-cn

# Requires the latest pip
pip install --upgrade pip

# Current stable release for CPU and GPU
pip install tensorflow

# Or try the preview build (unstable)
pip install tf-nightly

新版TensorFlow

  • tensorflow：支持 CPU 和 GPU 的最新稳定版（适用于 Ubuntu 和 Windows）
  • tf-nightly：预览 build（不稳定）。Ubuntu 和 Windows 均包含 GPU 支持。

旧版 TensorFlow

对于 TensorFlow 1.x，CPU 和 GPU 软件包是分开的：

  • tensorflow==1.15：仅支持 CPU 的版本
  • tensorflow-gpu==1.15：支持 GPU 的版本（适用于 Ubuntu 和 Windows）

系统要求

  • Python 3.6–3.9
    • 若要支持 Python 3.9，需要使用 TensorFlow 2.5 或更高版本。
    • 若要支持 Python 3.8，需要使用 TensorFlow 2.2 或更高版本。
  • pip 19.0 或更高版本（需要 manylinux2010 支持）
  • Ubuntu 16.04 或更高版本（64 位）
  • macOS 10.12.6 (Sierra) 或更高版本（64 位）（不支持 GPU）
    • macOS 要求使用 pip 20.3 或更高版本
  • Windows 7 或更高版本（64 位）
  • GPU 支持需要使用支持 CUDA® 的卡（适用于 Ubuntu 和 Windows）

注意：必须使用最新版本的 pip，才能安装 TensorFlow 2。

3）更新pip

pip install --upgrade pip

4）安装tensorflow

pip install tensorflow

下载完成

3）查看是否安装成功

conda list|findstr tensorflow

4）测试pytorch是否可以使用

进入python环境，导入tensorflow包，如果没有报错或出现以下warning，则说明可以正常使用

 1-1、转用pytorch
1）下载pytorch

详见pytorch下载安装-CSDN博客

2、下载Bert模型

到Pre-Training with Whole Word Masking for Chinese BERT（中文BERT-wwm系列模型）下载所需模型

中文模型下载块中的模型都是以tensorflow1.x为基础的，tensorflow1.x，tensorflow1.x，tensorflow1.x

如果使用pytorch，可以在GitHub下方找到pytorch模型下载方法或tensorflow转pytorch方法（我选择使用tensorflow转pytorch方法）

但是我是先下载了tensorflow2.x， 后选择的模型，tensorflow、bert模型、Bert服务器全都下载安装好之后才发现bert模型只能用tensorflow1.x版本的...简直气死我了，安装这些都搞了一上午了，所以放弃tensorflow，转用pytorch了（之前安装过）

提前放pytorch版本描述

 

我使用的是BERT-wwm, Chinese，下载链接为tensorflow中文维基https://drive.google.com/file/d/1RoTQsXp2hkQ1gSRVylRIJfQxJUgkfJMW/view

为方便大家下载，此模型已共享至阿里云盘资源库，可自行搜素下载，名称为chinese_wwm_L-12_H-768_A-12.zip

也可以私聊我使用阿里云盘快传链接下载

3、下载bert服务器

pip install bert-serving-server
pip install bert-serving-client

3、启动bert

我把上面下载的中文预训练模型放置在F:\PycharmProjects\Bert\model\chinese_wwm_L-12_H-768_A-12\publish

此时需要在命令行中输入

bert-serving-start -model_dir F:\PycharmProjects\Bert\model\chinese_wwm_L-12_H-768_A-12\publish -num_worker=2
出现如下错误：经搜查得知，tensorflow需要1.x版本，故弃用tensorflow，转用pytorch

出现下图界面则表示成功（此处为其他博主的图，图源见水印）
启动成功

4、使用转换器将模型转至pytorch版本

请自行通过🤗Transformers提供的转换脚本进行转换

修改BERT_BASE_DIR

Linux命令：

# 安装依赖
pip3 install tensorflow transformers
export BERT_BASE_DIR=~F:\PycharmProjects\Bert\model\chinese_wwm_L-12_H-768_A-12\publish
transformers-cli convert --model_type bert \
  --tf_checkpoint $BERT_BASE_DIR/bert_model.ckpt \
  --config $BERT_BASE_DIR/bert_config.json \
  --pytorch_dump_output $BERT_BASE_DIR/pytorch_model.bin

windows命令：

# 安装依赖
pip3 install tensorflow transformers
set BERT_BASE_DIR=F:\PycharmProjects\Bert\model\chinese_wwm_L-12_H-768_A-12\publish
transformers-cli convert --model_type bert ^
  --tf_checkpoint %BERT_BASE_DIR%\bert_model.ckpt ^
  --config %BERT_BASE_DIR%\bert_config.json ^
  --pytorch_dump_output %BERT_BASE_DIR%\pytorch_model.bin

转换成功

文件：

不管怎么说，乱七八糟的安装是结束了，如果有看不懂的地方欢迎留言或者私信，后续抽时间再整理文章吧，我先去尝试使用了。

因为安装实在是有点乱，所以使用另开一篇。

参考文章：

pytorch 下载安装全流程详细教程_pytorch官网下载教程-CSDN博客

BERT入门（tensorflow）_tensorflow bert-CSDN博客

山楂橙子
关注
  • 8
    点赞
  • 踩
  • 31
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
huggingface的bert-base-chinese
03-05
【标题】"huggingface的bert-base-chinese" 指的是Hugging Face平台上由Google提供的预训练模型，它是BERT模型的一个中文版本。BERT（Bidirectional Encoder Representations from Transformers）是由Google在2018年...
windows+Anaconda环境下安装BERT成功安装方法及问题汇总
vivisol的博客
03-10 3383
在Windows+Anaconda环境下安装BERT，遇到各种问题，几经磨难，最终成功。接下来，先介绍成功的安装方法，再附上遇到的问题汇总。
tensorflow环境搭建_Ubuntu 16.04搭建深度学习环境的超级无敌详细教程
weixin_39993454的博客
11-24 159
Ubuntu 16.04搭建深度学习环境前言 Linux服务器上的环境没有共用，要在自己文件夹搭建所需要的环境。要安装的有：Anaconda3、TensorFlow、Pytorch，这几个都是直接或间接的有版本对应关系。顺便记录一下安装过程，本来搭环境就很烦，以后在新机器搭环境就不用东找西找。版本对应关系 由于要在服务器上跑bert，源码是tensorflow 1.x版本的...
2024年最全[NLP]基于IMDB影评情感分析之BERT实战-测试集上92，从入门到真香
最新发布
2401_84715513的博客
05-08 912
Imdb影评的数据集介绍与下载下面我用三种方法来训练Bert用IMDB影评数据集现在基本性能好一些的NLP模型，例如OpenAI GPT，google的BERT，在数据预处理的时候都会有WordPiece的过程。WordPiece字面理解是把word拆成piece一片一片，其实就是这个意思。WordPiece的一种主要的实现方式叫做BPE（Byte-Pair Encoding）双字节编码。BPE的过程可以理解为把一个单词再拆分，使得我们的此表会变得精简，并且寓意更加清晰。
ubuntu20.04使用docker部署ubuntu16.04环境
NUAA1703的博客
04-05 1853
在ubuntu20.04环境下利用docker部署ubuntu16.04环境，后续可以在这个容器中安装更多的诸如cuda10.2，tensorrt7.0等环境。
基于文字情感的民族音乐智能生成项目Bert+Magenta----文本情感部分
weixin_45835716的博客
08-07 516
基于文字情感的民族音乐智能生成项目Bert+Magenta----文本情感部分搭建环境着手开发配置 bert 运行环境准备数据集训练 搭建环境 系统为 ubuntu18.04，基本配置为 4 核CPU、8GB 内存，硬盘100G,如云主机建议 图形界面，另此处使用Anaconda 和 Pycharm开发环境。 着手开发 配置 bert 运行环境 安装 tensorflow 和 Bert anaconda创建 python=3.5 的虚拟环境； 安装 tensorflow=1.11.10 conda
最新Bert安装教程
qq_43279647的博客
03-09 6144
BERT的全称是Bidirectional Encoder Representation from Transformers，即双向Transformer的Encoder，因为decoder是不能获要预测的信息的。模型的主要创新点都在pre-train方法上，即用了Masked LM和Next Sentence Prediction两种方法分别捕捉词语和句子级别的representation。 相...
安装并运行BERT模型
scloude的博客
03-17 598
移动端RTX30系列显卡支持cuda11.0、cudnn9.0以上版本，低版本的cuda是不兼容的，使用google版本的tensorflow需要tf2.4及以上，而bert模型是基于tensorflow1.x的，所以安装tensorflow1.x-cpu版本，tensorflow-gpu版本运行bert会报错。具体安装步骤可以根据以下过程进行： https://blog.csdn.net/qq_42458992/article/details/120684554
最屌NLP——-BERT之安装篇
热门推荐
枫叶的落寞的博客
01-31 1万+
记录一下，后续补充完善
bert模型下载运行实例全过程tensorflow版spyderIDE
weixin_46286227的博客
09-22 1058
1.GitHub下载google版的bert-master全部代码，点右上角绿色，因为huggingface我进不去，需要注意这里Google版的用得是tensorflow框架，我刚好之前安的就是tensorflow，你如果用得是pytorch就要找他的架构下的bert。从task开始复制，不要前面--和最后\,参数都加上双引号，把他们放在同一行，变量之间空一格，那个date_dir开始四行放自己的文件存放路径，data_dir是数据集，后面三个都是模型里面的文件。
bert预训练模型下载链接合集
weixin_39331401的博客
11-29 1万+
做个整理，方便以后找不到的时候重新下载 Google原版bert:https://github.com/google-research/bert brightmart版roberta:https://github.com/brightmart/roberta_zh 哈工大版roberta:https://github.com/ymcui/Chinese-BERT-wwm Google原版albert[例子]:https://github.com/google-research/ALBERT ...
huggingface的bert-base-uncased
03-03
**标题解析：** "huggingface的bert-base-uncased" 指的是Hugging Face平台上Google提供的一个预训练模型，名为"bert-base-uncased"。BERT（Bidirectional Encoder Representations from Transformers）是由Google ...
bert-base-chinese.zip
12-03
《BERT-base-Chinese：中文自然语言处理的基石》 BERT（Bidirectional Encoder Representations from Transformers）是由Google在2018年推出的深度学习模型，它彻底改变了自然语言处理（NLP）领域。BERT模型的核心...
bert-base-uncased 预训练模型
01-12
来自 https://huggingface.co/bert-base-uncased/tree/main
Bert模型（一）安装及问题解决（基本每一步都有问题）
weixin_45241936的博客
10-08 1937
Bert模型其实并不是很新鲜的，只是跟着朱老师做项目，所以老师让我们对此了解一下。之前有安装过Anaconda和Python，但以前也是问题频发，只是糊弄过去了事，如今再次使用自是苦不堪言，问题百出不穷，对此不再赘述，进入安装过程。 首先环境： Python 3.9.7 TensorFlow 1.10.0（这个应该是大于等于这个版本都可以，但我当时看的教程是这个版本，保险起见就安装了这个版本） Bert服务端 Python 因为我之前就安装过了，所以记忆较为久远，不做赘述，这位大哥写的很详实，可以
词嵌入模型Bert的安装与使用
克格莫
06-01 2003
Bert的安装与使用
Bert模型学习之环境配置（一）
张某文_Lambda的博客
03-15 4239
Bert模型学习之环境配置（一） 毕业论文写到结尾，着手增加数据量，结果翻车，模型变的不靠谱（实际模型它太不健壮了）。 一开始选择用word2vec结合tfidf加权模型求句向量，但是数据量稍微增大就会报错；改用word2vec求平均句向量，正确率掉到了0.47。心态崩了。目前，论文的指导老师推荐了bert模型，也是现在比较流行的，网上说效果比较好。现在正在安装环境，踩坑多多，希望记录一下，快快的更新吧。 说明：我的毕业论文是中文分类任务，这篇博客目标是用bert模型计算句向量。 思路1：首先想到在自己的电
linux 安装bert-as-service
07-28
要在Linux上安装bert-as-service，您可以按照以下步骤进行操作： 1. 确保您的系统已经安装了Python 3.6+。 2. 打开终端，并创建一个新的虚拟环境（可选）： ``` python3 -m venv bert_env source bert_env/bin/activate ``` 3. 在虚拟环境中，使用pip安装bert-as-service： ``` pip install bert-serving-server bert-serving-client ``` 4. 下载预训练的BERT模型： ``` mkdir bert_model cd bert_model wget https://storage.googleapis.com/bert_models/2020_02_20/uncased_L-12_H-768_A-12.zip unzip uncased_L-12_H-768_A-12.zip ``` 5. 启动BERT服务： ``` bert-serving-start -model_dir /path/to/bert_model/uncased_L-12_H-768_A-12/ -num_worker=1 ``` 请将路径`/path/to/bert_model/uncased_L-12_H-768_A-12/`替换为您实际的BERT模型路径。 6. 在另一个终端中，您可以使用bert-as-service客户端来与BERT服务进行通信： ```python from bert_serving.client import BertClient with BertClient(ip='localhost', port=5555, port_out=5556) as client: # 在这里使用BERT服务进行编码 pass ``` 这样，您就可以在Linux上安装和使用bert-as-service了。希望对您有帮助！

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

山楂橙子

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值