suibianshen2012的专栏

一、因为softmax的输入很大时，其梯度会变的很小，趋近于0；二、除以根号Dk的目的就是使得，QK/Dk满足方差稳定到1，使得softmax的梯度不至于太小

这个系列我们来聊聊序列标注中的中文实体识别问题，第一章让我们从当前比较通用的基准模型Bert+Bilstm+CRF说起，看看这个模型已经解决了哪些问题还有哪些问题待解决。以下模型实现和评估脚本，详见 Github-DSXiangLi/ChineseNERNER问题抽象实体识别需要从文本中抽取两类信息，不同类型的实体本身token组合的信息（实体长啥样），以及实体出现的上下文信息（实体在哪里）一种解法就是通过序列标注把以上问题转化成每个字符的分类问题，label主要有两种其中BIO更常见些BIO：

这篇文章主要整理三部分内容，一是常见的三种神经网络结构：前馈神经网络、反馈神经网络和图网络；二是整理前馈神经网络中正向传播、误差反向传播和梯度下降的原理；三是梯度消失和梯度爆炸问题的原因及解决思路。一、神经网络结构目前比较常用的神经网络结构有如下三种：1、前馈神经网络前馈神经网络中，把每个神经元按接收信息的先后分为不同的组，每一组可以看做是一个神经层。每一层中的神经元接收前一层神经元的输出，并输出到下一层神经元。整个网络中的信息是朝着一个方向传播的，没有反向的信息传播（和误差反向传播不是一回

转自：http://www.tuicool.com/articles/aIby6be对于搜索引擎来讲，很多情况下只需要用户在搜索输入框内输入所需要查询的内容就可以了，其余的事情就全部交给搜索引擎去处理。理想的情况下，搜索引擎会优先返回用户想要的结果。理想很丰满，但总会存在一些骨感的现实，用户通过搜索无法找到最想要的结果。如果应用中压根不存在用户搜索的内容，倒还可以理解。反之的话，就是一个大

作者： 龙心尘 && 寒小阳 时间：2016年2月。 出处： http://blog.csdn.net/longxinchen_ml/article/details/50646528http://blog.csdn.net/han_xiaoyang/article/details/50646667声明：版权所有，转载请联系作者并注明出处1. 引言：朴素贝叶斯