Neptune236的博客

标签（空格分隔）： 《基于深度学习的自然语言处理》阅读笔记 NLP分布式表示  书上说：在分布式表示中，每个实体被表示为值的向量，并且实体的含义及其与其他实体的关系由向量中的激活以及不同向量之间的相似性来捕获。在语音处理的上下文中，这意味着不应将词（和句子）映射到离散维度，而是映射到共享的低维空间，其中每个单词将与d为向量相关联，词将被其与其他单词的关系和其向量中的激活值所捕获。  上面的话是书中的原文，用简洁的语言表示就是，分布式描述的是把信息分布式地存储在向量的各个维度中，与之相对的是局部表示，

语言学概念是否重要《基于深度学习的自然语言处理》阅读笔记 NLP  在给定充足数据和引导方向正确的前提下，很多的语言学概念确实能够被网络自身学习到。然而，对于很多的其他例子，我们不能获得足够的数据，这种情况下，为网络提供更加明确的、清晰的概念将会非常有用。即使我们能够获得足够的数据，通过提供更加泛化的概念以及词语的表层信息，我们也想要网络去关注文本或线索的某个方面而忽略其他部分。最后，即使我们不想利用语言学特性作为输入，我们也可能想要使用它们作为补充的监督去指导网络应用于多任务学习中，或者用于设计网

Sigmoid函数求导标签（空格分隔）： ML  sigmoid函数是神经网络中常用的激活函数之一，其定义为σ(x)=11+e−x\sigma(x) = \frac{1}{1 + e^{-x}}σ(x)=1+e−x1​该函数的定义域为(−∞,+∞)(-\infty,+\infty)(−∞,+∞),值域为(0,1)(0,1)(0,1)  sigmoid函数的导函数具有以下形式σ′(x)=σ(x)[1−σ(x)]\sigma'(x) = \sigma(x)[1-\sigma(x)]σ′(x)=σ(

似然函数与极大似然估计标签（空格分隔）： ML似然函数  随机变量XXX的概率分布已知，但是这个分布的参数是未知的，需要我们去估计，我们把他记作θ\thetaθ，好比在抛硬币的试验中，硬币正面朝上的概率是未知的，需要我们去估计，那么此时θ\thetaθ就代表了这个待估计的正面向上的概率值。  随机变量XXX的取值xix_ixi​表示抛掷kkk次硬币，正面向上的次数，那么这个概率表示为：P({X=xi})=Ckxiθxi(1−θ)k−xiP(\{X=x_i\}) = C_k^{x_i}\theta^