![](https://img-blog.csdnimg.cn/20201014180756923.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
自然语言处理
brith_for_AI
study for AI,hard to achieve our dream
展开
-
基于语法规则生成句子
在自然语言处理任务中,需要训练一个深度学习模型,但是数据集不足,下载查找合适的公开数据集比较困难,或者说再处理比较繁琐。此时,就可以采用规则的方法去生成一部分数据集以供使用;该方法的优点:(1)生成句子的速度快;(2)能够满足基本的任务需求,例如实体识别和标注任务;(3)不需要较大的资源去加载大模型,例如BERT,GPT-2;该方法的缺点:(1)生成的句子比较生硬,多样性不足;(2)如果生成不同类型的句子,需要重新设计模板;接下来,我们将从规则设计进行介绍, 然后...原创 2020-09-21 18:36:26 · 1269 阅读 · 0 评论 -
Q_learning在自然语言生成中的应用思考
Q_learning from reinforcement learning 在学习Q_learning算法之前,我们需要了解一下,一个叫做时间差分学习的(temporal difference learning)思想。它的迭代公式是:其中是每个episode结束后获得的实际累积回报,α是学习率,这个式子的直观的理解就是用0实际累积回报作为状态值函数V()的估计值。具体做法是对每原创 2017-12-02 20:36:35 · 385 阅读 · 0 评论 -
BLEU 评价指标总结
Bleu 评测(一)Bleu通常用来度量一组机器产生的翻译句子集合(candidates)与一组人工翻译句子集合(references)的相似程度。Bleu的具体计算过程看下图:在这里解释一下:式中的n 为当前匹配n-gram的长度,这里的N=4(也可以是其1,2,3),是n-gram匹配权重,BP是用来对过短候选翻译的惩罚系数,是利用当前n-gram匹配对候选机器翻译基于...原创 2017-12-02 20:43:18 · 8689 阅读 · 3 评论 -
Highway network
Highway Network主要解决的问题是,网络深度加深,梯度信息回流受阻造成网络训练困难的问题。假设定义一个非线性变换为,定义门函数,携带函数。对于门函数取极端的情况0/1会有,而对应的门函数使用sigmoid函数,则极端的情况不会出现。一个网络的输出最终变为。具体的代码实现为:def highway(input_, size, num_layer原创 2017-12-23 01:50:13 · 3788 阅读 · 3 评论 -
文章标题生成(HeadLine Generation for News Articles)评测指标Rouge-(1,2,L,S) 和 Meteor
文章标题生成评价指标摘要:这里是关于自动文摘生成论文中常用的相关评价指标(Rouge and Meteor )的描述.Bleu指标大家比较熟悉,这里不做过多的解释。关于Rouge 是评估自动文摘以及机器翻译的一组指标。它们过将自动生成的摘要或翻译与一组参考摘要(人工生成的)进行比较计算,得出相应的分值,用来衡量自动生成的摘要或翻译与参考摘要之间的“相似度”。Meteor 是2004年由Lavi...原创 2018-10-31 19:36:44 · 2132 阅读 · 0 评论