machine learning
john_heng
这个作者很懒,什么都没留下…
展开
-
反向传播
看了一个对反向传播讲解很详细的博客,遂决定整理总结一下。 反向传播的本质就是导数中的连式法则: 该定理的详细解释在高数导数内容中,这里就不论述了。下面将借助一个全连接神经网络解释反向传播。 如上图所示,该神经网络由输入层、隐藏层、输出层构成,三层神经网络,单元数分别为3、4和3。假设给了m个训练样本,第i个输入输出对表示为: 其中,x和y是3维向量。对于输入x,我们把g称作神经...转载 2018-05-02 15:48:36 · 429 阅读 · 0 评论 -
蒙特卡洛与围棋
今天看到头条上有位网友提出了一个蒙特卡洛和围棋的问题,以为大佬的回答我觉得很有意思,特摘抄与此。蒙特卡洛算法是20世纪十大最伟大的算法,阿法狗就采用了蒙特卡洛算法。蒙特卡洛树不是一种算法,蒙特卡洛才是一种算法。 先来个动态图感受下蒙特卡洛树: 在五子棋中,因为每一步的选择点并不多,以当前电脑的计算力可以用穷举找到最佳下法。“围棋共有361个点,按照沈括的估计方法,每个点有三种状...转载 2018-05-02 21:44:59 · 3046 阅读 · 1 评论 -
决策树概述和实现
这两天学习了决策树,并看到了一篇写得很详细的博客,总结如下。1. 信息增益和熵 信息增益是选择最佳属性常用且容易上手的方法之一。它使用另一种叫做熵的属性计算出来。 熵是物理学和数学中的概念,指系统的随机性或混乱度。在信息论中,它指的是一组样本的混乱度。 我们通过一个例子来说明:你有两个装满巧克力的袋子。巧克力有红的也有蓝的。你想通过计算巧克力的数量来测量袋子的熵。所以你坐...转载 2018-05-09 22:57:20 · 306 阅读 · 0 评论 -
深度学习中的正则化
在训练深度框架时会出现训练集表现优秀,但测试集却很差。此时很可能出现过拟合了,解决过拟合问题一般采取一些正则化步骤。本文中,我们将详细介绍几种常用的正则化方法,本文是基于该文章总结的。目录1. 什么是正则化2. 正则化和过拟合3. 深度学习中的正则化 L1和L2正则化Dropout数据增强早停法1.什么是正则化如上图所示,刚开始的时候,模型还不能很好地拟合所有数据点,即无法反映数据分布,这时它是欠...转载 2018-04-26 20:53:13 · 455 阅读 · 0 评论