机器学习
机器学习系列文章
筱踏云
什么都不会的nlper
展开
-
熵、KL散度、交叉熵
绪论最近在做实验的时候,发现机器有些基本知识真的很重要,所以就把机器学习的内容重新整理一下,本文仅从机器学习的角度来讲解熵、KL散度和交叉熵。熵简单来说熵就是描述系统的不确定性的,就是说,一个事件越确定,那么它的熵就约小,越不确定熵就越大。熵的定义为:H(x)=−∑i=1np(xi)logp(xi) H(x) = -\sum_{i=1} ^n p(x_i)\log p(x_i)H(x)=−...原创 2019-08-10 23:31:51 · 257 阅读 · 0 评论 -
机器学习系列之极大似然估计(MLE)
绪论在统计学中,极大似然估计(Maximum Likelihood Estimation)是用来估计模型参数的一种方法,就是利用已知样本的结果信息,反推出最有可能导致这样结果的模型参数值。一般情况下,我们用 θ\thetaθ 来表示模型的参数,所以解决问题的本质就是求θ\thetaθ。举例1现在假设有一枚不均匀的硬币,然后我们做了100次实验,一共60次正面,40次反面;我们设 θ\thet...原创 2019-09-04 16:47:06 · 877 阅读 · 0 评论 -
机器学习系列之最大后验估计(MAP)
绪论假如我们有一个任务;已知数据和模型,来推测模型的参数。解决该问题,一般有两类方法:极大似然估计与最大后验估计,关于极大似然估计,可以看我这篇博客:机器学习系列之极大似然估计(MLE)。例子我们还是拿抛硬币来举例,假如现在有一个不规则的硬币,我们实验抛了10次,结果10次全部是正面。我们记硬币朝上的概率为 θ\thetaθ 。如果按照极大似然估计的方法来求解,似然函数为:L(θ)=C10...原创 2019-09-05 17:30:03 · 1101 阅读 · 0 评论 -
蒙特卡罗方法
蒙特卡罗算法首先蒙特卡罗算法并不是一种算法的名称,而是一类随机方法的统称。例子一个经典的例子就是计算圆周率π\piπ,如下图所示,我们想要计算圆周率,只需要在图上随机取很多点,然后利用落在圆上点的个数来计算出圆周率。![计算圆周率](https://img-blog.csdnimg.cn/20190902103745634.png?x-oss-process=image/watermar...原创 2019-09-02 10:50:34 · 504 阅读 · 0 评论 -
机器学习系列之蒙特卡罗树搜索(MCTS)
蒙特卡罗树搜索(MCTS)蒙特卡罗树搜索,即 Monte Carlo tree search(MCTS)是一种启发式搜索算法。现在我们来考虑下围棋这个游戏,我们用经典的Minmax搜索会碰到两个问题:每一步可能有很多中走法,这就导致搜索树太广。要走很多步游戏才结束,也就是说搜索树特别深。这时,蒙特卡罗树搜索就能发挥作用,它不遍历整个搜索树,也即找到的不是最优解,但是是一个解决该问题的方...原创 2019-09-02 19:01:01 · 1794 阅读 · 0 评论 -
极大似然估计与交叉熵
前言关于极大似然估计和交叉熵我就不介绍了,有兴趣的可以看我其他的博客,我这里只讲他们的联系。公式现有一个真实的分布 P(x)P(x)P(x),现在为了减小模型的概率分布 Q(x;θ)Q(x;\theta)Q(x;θ) 与真实分布P之间的差异,使用最大似然:θMLE=argmax∏i=1mQ(xi;θ)=argmax∑i=1mlogQ(xi;θ)≈argmaxEx∼P(x)[log...原创 2019-09-09 16:18:26 · 3190 阅读 · 1 评论 -
重要性采样(Importance Sampling)
重要性采样是用一个新的采样分布来代替原有的采样分布,使得采样更加容易或高效。Ex∼p[f(x)]=∫f(x)p(x)dx=∫f(x)p(x)q(x)q(x)dx=Ex∼q[f(x)p(x)q(x)]\begin{aligned}E_{x \sim p}[f(x)] &= \int f(x)p(x)dx\\\\ &= \int f(x) \frac{p(x)}...原创 2019-09-10 09:18:03 · 802 阅读 · 0 评论