文本挖掘
文章平均质量分 71
hsj1213522415
在校学生
展开
-
机器学习之贝叶斯网络
在了解贝叶斯网络之前,需要了解上一篇博文中的熵和相对熵的概念,请读者务必阅读,方便后续内容的理解。1.这里先补充一下对相对熵应用的一些思考:假设已知的随机变量P,求相对简单的随机变量Q,使得两者的分布尽可能的接近应该怎么做呢,相信大家都能想到的是相对熵,即P和Q的KL距离,但是这个问题的难点在于相对熵的一个性质:非对称性,那么是将P放在前面还是Q呢?这就不好办了。这里提供一种思路:假定原创 2017-02-24 16:37:12 · 913 阅读 · 1 评论 -
对于一些机器学习的算法中为什么要加exp
我们现在接触的很多算法中都会看到对某项加一个exp,很长一段时间不理解为什么要加这个exp,今天终于有一些理解了:一方面,要保证每一个factor是正的,factor可以大于一也可以不归一化,但一定要是正的;另一方面,我们最后要通过最大似然函数优化的,似然值是这些factor的累乘,对每一项的累乘。这么多项相乘没有人直接去优化的,即使优化也很麻烦,很难操作,另外一种思路是将累乘转变原创 2017-04-23 15:06:31 · 3094 阅读 · 0 评论 -
Convolutional Neural Networks
卷积神经网络是人工神经网络的一种,已成为当前语音分析和图像识别领域的研究热点。它的权值共享网络结构使之更类似于生物神经网络,降低了网络模型的复杂度,减少了权值的数量。该优点在网络的输入是多维图像时表现的更为明显,使图像可以直接作为网络的输入,避免了传统识别算法中复杂的特征提取和数据重建过程。卷积网络是为识别二维形状而特殊设计的一个多层感知器,这种网络结构对平移、比例缩放、倾斜或者共他形式的变形具有原创 2017-04-24 17:14:46 · 701 阅读 · 0 评论 -
卷积神经网络应用于建模句子
对于卷积神经网络在建模句子中的应用,首先我抛出一个模型架构,直观上先看一下,能理解最好,不能理解的话,请接着看下面的分析:原创 2017-05-06 15:21:18 · 382 阅读 · 0 评论 -
循环神经网络简单到深入
RNN是在自然语言处理领域中最先被用起来的,比如,RNN可以为语言模型来建模。那么,什么是语言模型呢?我们可以和电脑玩一个游戏,我们写出一个句子前面的一些词,然后,让电脑帮我们写下接下来的一个词。比如下面这句:我昨天上学迟到了,老师批评了____。我们给电脑展示了这句话前面这些词,然后,让电脑写下接下来的一个词。在这个例子中,接下来的这个词最有可能是『我』,而不太可能是『小明』,甚至是『吃饭』原创 2017-04-25 15:20:52 · 703 阅读 · 0 评论 -
人工神经网络中的activation function的作用以及ReLu,tanh,sigmoid激励函数的区别
为什么引入非线性激励函数?如果不用激励函数(其实相当于激励函数是f(x) = x),在这种情况下你每一层输出都是上层输入的线性函数,很容易验证,无论你神经网络有多少层,输出都是输入的线性组合,与没有隐藏层效果相当,这种情况就是最原始的感知机(Perceptron)。正因为上面的原因,决定引入非线性函数作为激励函数,这样深层神经网络就有意义了(不再是输入的线性组合,可以逼近任意函数)。最早的原创 2017-04-25 10:08:26 · 6323 阅读 · 0 评论