2019年06月_技术宅zch

原创三种梯度下降的对比——BGD、SGD、MSGD

梯度下降批量梯度下降（BGD）随机梯度下降（SGD）小批量梯度下降（MBGD）Reference梯度下降优化器有很多，但是本文仅仅讨论梯度下降时所采用的数据量对效果的影响。从梯度下降的大类来分，可以分为如下的三类：三个梯度下降法的损失函数为：均方误差损失函数C=12m∑i=1m(Yi−hw(Xi))2C=\frac{1}{2m}\sum_{i=1}^m(Y_i-h_w(X_i))^2C=2m...

2019-06-29 00:19:51 1645

原创 NLPpaper精读(三)—— Attention Is All You Need

论文精读——TransformerAbstractIntroductiontransformer是一个颠覆式的创造，开启了NLP的新时代Abstract主流的序列模型都是采用CNN和RNN来构造的，此外较好的编解码器模型都会采用Attention机制。本文提出了一个简单的模型是Transformer，完全的基于注意力机制，而避免了使用CNN与RNN。Transformer提供了并行计算的...

2019-06-22 17:33:29 615

原创实体链接——《Entity Linking with a Knowledge Base Issues Techniques and Solutions》浅析

实体链接综述候选实体生成（Candidate Entity Generation）基于命名字典的技术实体页面重定向页面消歧页面首段加粗字段Wikipedia文章中的超链接从本地文档扩展表面的形式启发式方法监督学习的方式基于搜索引擎的方法候选实体排序(Candidate Entity Ranking)特征上下文独立特征1.名称字串比较2.实体流行度3.实体类别上下文相关特性1.文本上下文2. 实体映...

2019-06-21 16:02:28 5846

原创实体链接调研总结

实体链接什么是实体链接？实体链接的目前存在的问题实体链接的分类与流程实体链接从大类上可以分为两类：实体链接的流程：本文是针对中文实体链接的内容做简要概述，介绍实体链接的定义、目前的挑战和问题、一般的链接流程、现有的一些方法。什么是实体链接？实体链接（Entity Linking，EL）是指将自由文本中已识别的实体对象（例如：人名、地名、机构名等），无歧义的正确的指向知识库中目标实体的过程。...

2019-06-21 16:01:50 4802

原创 NLP进阶之路——CS224n（一）

NLP绪论什么是自然语言处理？NLP的层次NLP的应用人类语言的特殊之处什么是深度学习为什么NLP很难？NLP语义层面的表示Reference什么是自然语言处理？自然语言处理（NLP natural language processing）是一门计算机科学、人工智能和语言学的交叉学科。是人工智能领域的重要分支！人工智能有机器视觉、语音识别、和NLP。自然界拥有视觉的生物有很多，但是拥有高级语...

2019-06-13 20:51:22 570

原创 NLP paper精读（二）——NEURAL MACHINE TRANSLATION BY JOINTLY LEARNING TO ALIGN AND TRANSLATE

神经机器翻译引言本文是对2016年发表的论文《NEURAL MACHINE TRANSLATION BY JOINTLY LEARNING TO ALIGN AND TRANSLATE》简要概述。该论文主要是最早将Attention Model 引入Encoder-Decoder框架。引言神经机器翻译试图建立和训练一个单一的，大的神经网络，读取一个句子，并输出正确的翻译。目前大部分提出的...

2019-06-13 11:19:48 608

原创 NLP paper精读（一）——Deep Learning

Deep Learning 论文笔记前言监督学习反向传播算法卷积神经网络本论文是人工智能领域三大牛人在2015年Nature上发表的文章，掀起了人工智能的热潮，进入了全名DL的时代，同时这三位作者也在2019年获得了图灵奖。本文的内容是按照论文的行文，摘取最重要的部分做相应的记录。前言Deep Learning 可以让多层计算模型去学习和拟合高层的抽象表示，同时完成复杂的计算与表达。几十...

2019-06-10 19:41:13 627

NLP翟