深度学习
Chihk-Anchor
这个作者很懒,什么都没留下…
展开
-
深度学习(一):交叉熵损失函数,信息量,熵,KL散度
交叉熵损失函数「Cross Entropy Loss」,我们第一印象就是它如下的公式:大多数情况下都是直接拿来使用就好,但是它是怎么来的?为什么它能表征真实样本标签和预测概率之间的差值?交叉熵函数是否有其它变种?信息量事件A:巴西队进入了2018世界杯决赛圈。事件B:中国队进入了2018世界杯决赛圈。直觉来说,显而易见事件B的信息量比事件A的信息量要大。究其原因,是因为事...原创 2019-04-19 14:52:43 · 1845 阅读 · 0 评论 -
深度学习(二):详解Word2Vec,从统计语言模型,神经网络语言模型(NNLM)到Hierarchical Softmax、Negative Sampling的CBOW和Skip gram
首先计算机只认识01数字,要对文本进行处理就需要将单词进行向量化单词的向量化表示方法 独热表示one-hot 最早对于单词向量化使用的是独热表示。每个单词对应一个向量,这个向量维度等于词汇表的大小,也就是说我有一个词汇表,里面有一万个单词,那么单词的独热表示向量维度就是一万维,对于词汇表中的每个具体的词,只需将其对应的位置置为1,其他位置置0。例子:我们有5个词组成的词汇表,词”Qu...原创 2019-04-22 21:29:59 · 1906 阅读 · 0 评论 -
深度学习(三):详解循环神经网络RNN,含公式推导
循环神经网络简介循环神经网络(recurrent neural network, RNN)源自1982年由Saratha Sathasivam提出的霍普菲尔德网络。霍普菲尔德网络因为实现困难,在提出时并且没有被合适地应用。该网络结构也于1986年后被全连接神经网络以及一些传统的机器学习算法所取代。然而:传统的机器学习算法非常依赖于人工提取的特征,使得基于传统机器学习的图像识别、语音识别以及...原创 2019-04-29 15:59:40 · 13889 阅读 · 3 评论