![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
自然语言处理
.我心永恒_
stay hungry, stay foolish. keep looking, don't sate!
展开
-
将Bert抽取语言表征模型修改为GPU运行
tf.estimator.EstimatorSpec优化器类:1.predict:只需要传入参数mode和predictions2.eval(评估模式):需要传入参数mode,loss,eval_metric_ops3.train:需要传入参数mode,loss,train_op(一):Bert抽取特征语言模型修改(GPU运行配置)修改位置1:2run_pretraining.py ma...原创 2019-08-20 00:09:34 · 4838 阅读 · 11 评论 -
Seq2Seq模型
Seq2Seq,全称为Sequence to Sequence模型(序列到序列模型,目前还没有很好的翻译),意思可以解释为将一个序列信号(词序列,字序列),通过编码和解码生成一个新的序列信号(词序列,字序列),通常用于机器翻译、图片描述、自动对话、语音识别等领域(一)什么是Seq2Seq模型?seq2Seq模型的核心思想,通过深度神经网络将一个作为输入的序列信号转换位输出的序列信号,这一过程由...原创 2019-08-12 00:41:11 · 4893 阅读 · 0 评论 -
自然语言理解发展历程
(一)NNLM(Neural Network language model):简述:通过多个上文输入,预测输出,应用了word Embeding方法,但是此word Embeding是没有上下文的word Embeding,也就是word直接用one-hot表示,然后乘以一个向量权重矩阵(这个向量矩阵其实就是word Embedding向量矩阵,是我们训练得到的)得到该word的word Emb...原创 2019-08-18 01:24:08 · 1603 阅读 · 0 评论 -
命名实体识别中的原始预处理文本转换为标注文本
(一)、转换格式1.其他字转换为O2.实体首字转换为B-PRODUCT3.实体中间的字转换为I-PRODUCT4.实体尾字转换为E-PRODUCT5.单实体转换为S-PRODUCT(二)、原始预处理文本(1). annotated_src.txt-DOCSTART-本公司具有{炭黑专用油}生产能力。-DOCSTART-公司已掌握了{虾}、{鲍鱼}、{海胆}等海珍品苗的工厂化培...原创 2019-09-10 17:50:03 · 1964 阅读 · 0 评论 -
深度学习中的循环神经网络GRU详解
(一)、什么是循环神经网络GRU?GRU指的是门控循环单元(Gated Recurrent Units ),它是循环神经网络中的一种门控机制,是由Kyunghyun Cho等人于2014年引入的,它与具有遗忘门的长短期记忆网络(LSTM)相类似。(二)、GRU实现记忆的原理是什么?参考:深度学习中的循环神经网络LSTM详解 2.1 GRU网络原理图(三)、GRU的原理公式是什么?经典的...原创 2019-09-13 11:54:59 · 16782 阅读 · 2 评论 -
深度学习中的循环神经网络LSTM详解
(一)、什么是循环神经网络LSTM?LSTM指的是长短期记忆网络(Long Short Term Memory),它是循环神经网络的最知名和成功的扩展。由于循环神经网络有梯度消失和梯度爆炸的问题,学习能力有限,在实际任务中的效果很难达到预期,为了增强循环神经网络的学习能力,缓解网络的梯度消失等问题,LSTM此时便应运而生。该网络可以对有价值的信息进行长期记忆,从而减小循环神经网络的学习难度,并由...原创 2019-09-08 21:38:30 · 5677 阅读 · 0 评论