- 博客(2)
- 收藏
- 关注
RSS订阅原创 tensorflow2.0+keras简单实现BERT模型
BERT模型简介BERT主要利用Transformer Encoder部分结合Masked Language Model，训练双向注意力模型应用到语言建模中。BERT模型拆解tensorflow模块导入import numpy as npimport tensorflow as tffrom tensorflow import kerasfrom tensorflow.keras import activationsfrom tensorflow.keras import layersfr
2021-02-24 15:27:49
3437
3
原创 [tensorflow笔记]-tensorflow实现带mask的reduce_mean
在使用tensorflow处理一些tensor时，有时需要对一个tensor取平均，可以使用tf.reduce_mean操作，但是这个没法处理带有mask的tensor数据，本文主要就是利用tensorflow的基本操作实现带mask的平均。tf.reduce_mean比如我们的数据是3维tensor，shape=（B，N，H），B表示batch_size、N表示最大长度、H表示向量维度，这样的3维tensor在NLP相关模型中很常见。# input tensortensor = tf.consta
2021-02-24 14:38:07
1166
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人