机器学习
文章平均质量分 52
hsj1213522415
在校学生
展开
-
机器学习之贝叶斯网络
在了解贝叶斯网络之前,需要了解上一篇博文中的熵和相对熵的概念,请读者务必阅读,方便后续内容的理解。1.这里先补充一下对相对熵应用的一些思考:假设已知的随机变量P,求相对简单的随机变量Q,使得两者的分布尽可能的接近应该怎么做呢,相信大家都能想到的是相对熵,即P和Q的KL距离,但是这个问题的难点在于相对熵的一个性质:非对称性,那么是将P放在前面还是Q呢?这就不好办了。这里提供一种思路:假定原创 2017-02-24 16:37:12 · 913 阅读 · 1 评论 -
机器学习之先验分布,后验分布,共轭先验分布
共轭先验分布的提出:某观测数据服从概率分布p(θ),当观测到新的数据时,思考下列问题:1.能否根据新观测数据X更新参数θ;2.根据新观测的数据可以在多大的程度上改变参数θ:θ=θ+rθ;当重新估计得到θ时,给出的新参数数值θ的新概率分布p(θ|x);分析:根据贝叶斯公式:p(θ|x)=p(x|θ)p(θ) / p(x),其中p(x|θ)是在已知θ的情况下估计x的概率分布,又称似然函数;p(原创 2017-02-25 11:06:46 · 10374 阅读 · 0 评论 -
对于一些机器学习的算法中为什么要加exp
我们现在接触的很多算法中都会看到对某项加一个exp,很长一段时间不理解为什么要加这个exp,今天终于有一些理解了:一方面,要保证每一个factor是正的,factor可以大于一也可以不归一化,但一定要是正的;另一方面,我们最后要通过最大似然函数优化的,似然值是这些factor的累乘,对每一项的累乘。这么多项相乘没有人直接去优化的,即使优化也很麻烦,很难操作,另外一种思路是将累乘转变原创 2017-04-23 15:06:31 · 3101 阅读 · 0 评论 -
Convolutional Neural Networks
卷积神经网络是人工神经网络的一种,已成为当前语音分析和图像识别领域的研究热点。它的权值共享网络结构使之更类似于生物神经网络,降低了网络模型的复杂度,减少了权值的数量。该优点在网络的输入是多维图像时表现的更为明显,使图像可以直接作为网络的输入,避免了传统识别算法中复杂的特征提取和数据重建过程。卷积网络是为识别二维形状而特殊设计的一个多层感知器,这种网络结构对平移、比例缩放、倾斜或者共他形式的变形具有原创 2017-04-24 17:14:46 · 702 阅读 · 0 评论 -
卷积神经网络应用于建模句子
对于卷积神经网络在建模句子中的应用,首先我抛出一个模型架构,直观上先看一下,能理解最好,不能理解的话,请接着看下面的分析:原创 2017-05-06 15:21:18 · 382 阅读 · 0 评论 -
循环神经网络简单到深入
RNN是在自然语言处理领域中最先被用起来的,比如,RNN可以为语言模型来建模。那么,什么是语言模型呢?我们可以和电脑玩一个游戏,我们写出一个句子前面的一些词,然后,让电脑帮我们写下接下来的一个词。比如下面这句:我昨天上学迟到了,老师批评了____。我们给电脑展示了这句话前面这些词,然后,让电脑写下接下来的一个词。在这个例子中,接下来的这个词最有可能是『我』,而不太可能是『小明』,甚至是『吃饭』原创 2017-04-25 15:20:52 · 703 阅读 · 0 评论 -
安装Anaconda2.4后出现conda不是内部或者外部命令
应该是环境变量没有配置.先确定你的Anaconda安装路径(为本用户安装的话是C:\Users\xxx\Anaconda,全局安装的话是C:\Anaconda),然后看环境变量中系统变量的PATH这一项有没有C:\Users\xxx\Anaconda\Scripts或者C:\Anaconda\Scripts,没有的话将Scripts的路径加入到Path这一项中,然后cmd输入conda就可原创 2017-06-09 17:26:46 · 2277 阅读 · 0 评论 -
人工神经网络中的activation function的作用以及ReLu,tanh,sigmoid激励函数的区别
为什么引入非线性激励函数?如果不用激励函数(其实相当于激励函数是f(x) = x),在这种情况下你每一层输出都是上层输入的线性函数,很容易验证,无论你神经网络有多少层,输出都是输入的线性组合,与没有隐藏层效果相当,这种情况就是最原始的感知机(Perceptron)。正因为上面的原因,决定引入非线性函数作为激励函数,这样深层神经网络就有意义了(不再是输入的线性组合,可以逼近任意函数)。最早的原创 2017-04-25 10:08:26 · 6323 阅读 · 0 评论