![](https://img-blog.csdnimg.cn/20201014180756916.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Bert
沼泽深处的王
你的理想是我的底线
展开
-
bert——Bert-BiLSTM-CRF命名实体识别演变
(1)RNN网络中的循环结构使得某个时刻的状态能够传到下一个时刻,即可以实现信息的持久化。因此,循环神经网络的主要用途是处理和预测序列数据。缺点:RNNs能够把以前的信息联系到现在,从而解决现在的问题。但是,随着预测信息和相关信息间的间隔增大, RNNs 很难去把它们关联起来了。从理论上来讲,通过选择合适的参数,RNNs 确实是可以把这种长时期的依赖关系 (“long-term dependencies”) 联系起来,并解决这类问题的。但遗憾的是在实际中, RNNs 无法解决这个问题。如果序列过长,原创 2021-03-09 20:50:54 · 4196 阅读 · 0 评论 -
bert——预训练模型下载
google的bert预训练模型:(前两个2019-05-30更新的,后面2018-10-18更新的)BERT-Large, Uncased (Whole Word Masking): 24-layer, 1024-hidden, 16-heads, 340M parametersBERT-Large, Cased (Whole Word Masking): 24-layer, 1024-hidden, 16-heads, 340M parametersBERT-Base, Uncased: 12-l原创 2021-03-08 21:03:29 · 962 阅读 · 0 评论 -
bert——使用GPU运行模型
1.Windows用命令查看nvidia的GPU使用情况cd C:\Program Files\NVIDIA Corporation\NVSMInvidia-smi2.使用GPUimport torchimport os #设置使用那块GPU “0”是GPU的idos.environ["CUDA_VISIBLE_DEVICES"] = "0"//主要用的是这句,其他是校验 #查看GPU是否可用cuda_available=torch.cuda.is_available() pr原创 2021-01-17 15:29:09 · 3942 阅读 · 1 评论 -
bert——常见运行run_classifier.py错误
用pytorch运行github上谷歌提供的bert模型的run_classifier.py,参数见官网,需将其中有$的参数进行替换,替换成自己的路径,运行过程会出现以下错误:1.cannot import name ‘modeling’ from ‘bert’将import modeling import optimization import tokenization改为from bert import modeling from bert import optimization from bert原创 2021-01-17 15:06:12 · 3252 阅读 · 0 评论