深度学习语言模型
杨丹的博客
业精于勤荒于嬉,行成于思毁于随。
展开
-
Bert在Win10启动server TypeError: cannot unpack non-iterable NoneType object
按照流程启动server,在串口输入bert-serving-start -model_dir E:\BERT\chinese_L-12_H-768_A-12 -num_worker=1后,开始看好像是顺利的,到后面就出现问题:Traceback (most recent call last):(指的是你的各种文件出错了)……(这些都可以省略,源头通常在最后)…………File “e:\a...原创 2019-11-28 15:20:58 · 5021 阅读 · 8 评论 -
BERT基础(三):BERT与Word2Vec、ELMO的比较与所做改进分析
参考文章:Bert浅析从Word Embedding到Bert模型——自然语言处理预训练技术发展史简单来说,词向量模型是一个工具,可以把文字(词语/字符)转换成向量,然后我们使用这些向量来完成各种 NLP 任务。因而某种意义上,NLP 任务分成两部分:预训练产生词向量,对词向量进行操作(下游具体 NLP 任务)。一、 Word2vecWord2Vec 模型训练出来的词向量之间具有...原创 2019-11-05 12:47:11 · 7401 阅读 · 0 评论 -
BERT基础(二):Transformer 详解
Transformer 中 self - attention 的详解参考:BERT基础(一):self_attention自注意力详解在 Transformer 之前,多数基于神经网络的机器翻译方法依赖于循环神经网络(RNN),后者利用循环(即每一步的输出馈入下一步)进行顺序操作(例如,逐词地翻译句子)。尽管 RNN 在建模序列方面非常强大,但其序列性意味着该网络在训练时非常缓慢,因为长...原创 2019-11-05 12:37:55 · 2609 阅读 · 0 评论 -
BERT基础(一):self_attention自注意力详解
BERT中的主要模型为Transformer,而Transformer的主要模块就是self-attention。为了更好理解bert,就从最基本的self-attention 开始。之后的博文则一步一步推进到bert。参考:李宏毅2019年新增课程 week 15 transformer 课程笔记视频及课件地址:https://www.bilibili.com/video/av65521...原创 2019-11-05 11:17:03 · 12942 阅读 · 4 评论