![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
BERT
光头小黑
这个作者很懒,什么都没留下…
展开
-
基于BERT的文本相似度计算
一、背景最近在研究文本相似度,利用Bert去实现。如果是在通用领域内进行文本相似度计算的话,就无需对Bert中文模型进行预训练,如果在特定领域内,就需要提前用大量的语料进行对google原版的中文模型进行预训练。bert用来提取句向量,然后利用余弦距离去计算相似度。二、具体实现利用苏神的bert4keras去构建网络模型,简单而又方便。from bert4keras.models import build_transformer_modelfrom bert4keras.tokeniz原创 2021-12-31 17:21:24 · 11106 阅读 · 6 评论 -
bert中的数据输入制作data_generate
数据生成器(自动生成训练、验证、测试集)1.需要创建一个类data_generator,这个类继承DataGenerator类(bert4kreas.snippets)这个类主要是做数据生成的迭代器2. 创建 DateProcess() 类:3.测试:‘’’这的数据是这样的:是一个 txt 文件每一行是一个样本: label@@@@@text所以在后文加载数据的时候使用的5个@‘’’1.需要创建一个类data_generator,这个类继承DataGenerator类(bert4kreas.sn原创 2021-09-26 17:50:16 · 769 阅读 · 0 评论