基于TensorFlow2.0，使用Bert模型生成词向量和句向量

最新推荐文章于 2024-08-27 19:30:05 发布

SpringWinter12138

最新推荐文章于 2024-08-27 19:30:05 发布

阅读量3.4k

点赞数 2

文章标签： tensorflow python 人工智能深度学习机器学习

本文链接：https://blog.csdn.net/SpringWinter12138/article/details/111816199

版权

该博客介绍了如何在TensorFlow2.0环境下，通过安装库、引入库和加载预训练的Bert模型，来编码句子并生成词向量和句向量。详细步骤包括下载模型、编码操作，输出结果包含词向量矩阵和句向量。

摘要由CSDN通过智能技术生成

一、前言

使用pytorch和TensorFlow调用的包是不一样的，这里只有TensorFlow的简单教程

一、使用步骤

1.安装库

pip install transformers

2.引入库

from transformers import AutoTokenizer,TFAutoModel
import tensorflow as tf

2.加载预训练模型

先下载预训练模型，模型地址
下载好的模型结构如下
预训练模型结构
加载模型

path="bert-base-uncased"
tokenizer=AutoTokenizer.from_pretrained

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

SpringWinter12138

关注关注

2
点赞
踩
39

收藏

觉得还不错? 一键收藏
5
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

TensorFlow 2.0实现BERT文本分类模型：使用预训练的BERT模型进行文本分类任务

AI天才研究院

08-09

1781

2018年是NLP技术爆炸式发展的年代，自然语言处理（NLP）成为人工智能领域的一大热点。人们为了解决信息提取、文本处理、文本理解等诸多NLP任务而不断投入研发新的工具与技术。其中最火的当属预训练的BERT(Bidirectional Encoder Representations from Transformers)模型，它可以学习到大量的文本语义信息并用于许多NLP任务中，比如文本分类、文本匹配、序列标注等。

基于Keras_bert模型的Bert使用与字词预测

当回首往事的时候，不会因虚度年华而悔恨，也不会因碌碌无为而羞愧。

07-26

2700

Keras_bert学习使用

5 条评论您还未登录，请先登录后发表或查看评论

大模型基础教程：词向量

2301_76161259的博客

06-11

358

词向量（Word Embedding）是自然语言处理（NLP）中的一种技术，它将词语映射为实数向量空间中的点。这种映射捕获了词语的语义和上下文信息，使得每个词都可以用一个固定长度的向量来表示。词向量能够体现词语之间的相似性和关联性，例如，在向量空间中，语义相近的词其向量之间的距离也会比较近。

bert获得词向量_手把手教你完成句子分类，最好上手的BERT初级使用指南

weixin_39829073的博客

10-29

1220

大数据文摘出品来源：github编译：LYLM、王转转、李雷、钱天培过去几年里，机器学习语言处理模型的发展十分迅速，已经不再局限于实验阶段，而是可以应用于某些先进的电子产品中。举个例子，最近谷歌官宣，称BERT模型已经成为其搜索产品背后的主要动力。谷歌认为，这一进展(即自然语言理解应用于搜索领域)是过去五年中机器学习领域的最大进步，也是搜索史上的最大进展之一。Jay Alammar小哥最...

Tensorflow2.10.0-GPU速装

最新发布

A1777873的博客

08-27

974

对Tensorflow2.10.0-GPU速装

BERT生成词向量

SimonChen

05-26

1127

等待更新。。。。

快速使用 BERT 生成词向量：bert-as-service

weixin_43914692的博客

08-20

1970

https://blog.csdn.net/qq_34832393/article/details/90414293

Bert模型获得词向量和句子向量表示

Chloris_的博客

02-22

6166

text = "After stealing money from the bank vault, the bank robber was seen fishing on the Mississippi river bank." marked_text = "[CLS] " + text + " [SEP]" tokenizer = BertTokenizer.from_pretrained('bert-base-uncased') tokenized_text = tokenizer.token.

bert-embedding：如何得到BERT训练的词向量

杂文集

11-27

1万+

网上有很多封装好的BERT模型，我们可以下载下来训练我们的句向量或词向量。这些BERT模型已经在大规模语料集上预训练过了，再训练的话就是微调了。那么有没有办法直接获得预训练好的词向量（类似于glove）呢。办法就是今天的主角bert-embedding了。安装 pip install bert-embedding 安装很简单，但是可能出现一些问题。首先环境里必须有TensorFlow，注意版本不要太高，以免出现兼容性问题，我安装的版本是1.13.1。还有就是与bert-embedding兼容的nump

TensorFlow2.0学习笔记-6.深度神经网络

ruoqi23的博客

08-06

1484

6.深度神经网络 6.1.卷积神经网络简介在CNN出现之前，图像对于人工智能来说是一个难题，有2个原因： •图像需要处理的数据量太大，导致成本很高，效率很低 •图像在数字化的过程中很难保留原有的特征，导致图像处理的准确率不高需要处理的数据量太大：现在随随便便一张图片都是1000×1000像素以上的，每个像素都有RGB 3个参数来表示颜色信息。假如我们处理一张1000×1000像素的图片，我们就需要处理3百万个参数！ 1000×1000×3=3,000,000 这么大量...

一行代码使用BERT生成句向量，BERT做文本分类、文本相似度计算

11-03

一行代码使用BERT生成句向量，BERT做文本分类、文本相似度计算

用Bert生成中文的字、词向量-附件资源

03-05

用Bert生成中文的字、词向量-附件资源

bert获得词向量_BERT烹饪之法：fintune 的艺术

weixin_39586649的博客

11-20

938

大数据文摘授权转载自安迪的写作间作者：ANDYBERT 预训练模型就如宰好待烹的猪，则 finetune 便是烹饪之法，猪头能用来做成香糯浓醇的烧猪头肉，猪蹄能用来做成劲道十足的红烧猪蹄，身上的梅花肉，五花肉，里脊肉也各有各的做法。于是对于 Bert finetune，也就有各种料理之法。序言自去年 BERT 论文发出，正巧半年，不光各大榜单上尽是 BERT 之名，最近公布 NAACL ...

两行代码玩转 Google BERT 句向量词向量

Paper weekly

11-22

1万+

关于作者：肖涵博士，bert-as-service 作者。现为腾讯 AI Lab 高级科学家、德中人工智能协会主席。肖涵的 Fashion-MNIST 数据集已成为机器学...

基于tensorflow2.0+使用bert获取中文词、句向量并进行相似度分析

weixin_43730035的博客

07-16

4167

本文基于库，调用bert模型，对中文、英文的稠密向量进行探究开始之前还是要说下废话，主要是想吐槽下，为啥写这个东西呢？因为我找了很多文章要么不是不清晰，要么就是基于pytorch，所以特地写了这篇基于tensorflow2.0+的。............

词向量之word2vec及Tensorflow实现

林夕

03-13

1524

Word2Vec已经几乎成为NLP任务中，肯定会用到的模型，当然现在我们有了更新的Elmo和Bert，但是Word2Vec作为基本的词向量，仍然需要弄明白。 1. 词的Onehot表示：当我们处理文本的时候，我们首先需要将这些文本进行表示，以前大家常用的就是onehot编码。首先对整个文档建立一个字典，每个字/词和索引一一对应。对于文档中的一句话，比如，“可爱的你喜欢吃面包。”。我们就可以根据词...

使用BERT获取中文词向量