PANHUBO的博客

深度学习(Deep Learning)的学习文章，感谢博主Zouxy的贡献。文章链接：http://blog.csdn.net/zouxy09/article/details/8775488

C4.5决策树——剪枝的问题  一。先说点什么              今天是周日，作为实习生在公司不加班，只想多学点什么。同时对未来也是有点迷茫，就说这么多吧。        二。切入主题1.为什么要剪枝                 剪枝的目的是避免C4.5生成的决策树出现过拟合的问题，过拟合是对训练样本过拟合，出现过拟合的原因可能是因为样本数量太少等。

在默认读者已经有一定的数学基础和算法基础的前提下，废话少说，直接上干货。1，Batch gradient descent最外层的Repeat until convergence，就是可以设置收敛条件的。下面一点代码来解释这个公式：这里设置循环100000代，在这里默认程序跑到100000代就收敛了，并且预测的和实际的之要大于0.000000001。看j循环：q[j]

分类决策树——C4.5       前一篇文章我介绍的是分类决策树ID3，学习过ID3的同学肯定知道它的变体——C4.5。现在我们介绍另外一个经典的决策树C4.5。在很多介绍中，C4.5被看作是数据挖掘十大算法之一。C4.5是基于ID3改进的一种算法，相比于ID3算法，改进有如下几点：1，用信息增益率来选择属性。ID3选择属性用的是子树的信息增益，这里可以用很多方法来定义信息，ID3使用的

马尔科夫决策过程 一.开篇的几句话：       今天本想及时下班，但是还想再学点东西就留下来公司了，这个内容今天(周五)晚上估计写不完，不过明天我会来公司继续写的。做题看了一集加州理工大的机器学习的教学视频，里面提到增强学习(reinforcement learning)。当我回想这个算法的原理时我已经忘记了，所以今天网上学习了再写出来。 二.马尔科夫决策树

一个贝叶斯网络定义包括一个有向无环图（DAG）和一个条件概率表集合。DAG中每一个节点表示一个随机变量，可以是可直接观测变量或隐藏变量，而有向边表示随机变量间的条件依赖；条件概率表中的每一个元素对应DAG中唯一的节点，存储此节点对于其所有直接前驱节点的联合条件概率。贝叶斯网络有一条极为重要的性质，就是在确定某一个节点的直接前驱节点的值后，这个节点条件独立于其所有非直接前驱前辈节点。

来自豆丁网的一篇介绍很仔细，特别是提到的关于算法的解释，值得分享。http://www.docin.com/p-523869207.html

http://wenku.baidu.com/link?url=D3vu4BoqwbBu8Zaxttr347Y-rmzxyPhDmA6HqMpva-bNhL9CGMF9PrUQljgepDbOGNhybPZY9g3cnni5seYu3ROIwjb5lyGngQVHPoct-P7文章来自百度，比较简单但是值得一读。

http://wenku.baidu.com/link?url=D3vu4BoqwbBu8Zaxttr347Y-rmzxyPhDmA6HqMpva-bNhL9CGMF9PrUQljgepDbOGNhybPZY9g3cnni5seYu3ROIwjb5lyGngQVHPoct-P7内容介绍详细，公式很仔细，值得一读。

SVD原理以及推导一。关于这篇文章的开始几句话       看过我之前写过文章的童鞋们会发现我写文章的水平很烂的，所以看官们见谅啊！SVD不仅是一个数学问题，在数学问题上主要涉及矩阵的计算，矩阵已经忘记的童鞋们最好去复习一下相关知识啊。说实话我还没怎么在实际开发中用过SVD，但是SVD以前我不会，原理和推导过程还是有意思的。       引用一句流行语——没时间解释了，快上车！！！！