机器学习理论资料汇总

一.一些比较不错的视频教程：

1.白板推机器学习公式

https://space.bilibili.com/97068901/video

2.mooc的一个机器学习课

https://space.bilibili.com/259316011/video?tid=36&page=1&keyword=&order=pubdate

 

二.一些理论的汇总链接：

1.决策树的汇总：

1）理论基础：

一共两篇，写的还不错，主要讲了id3,c4.5以及cart

http://leijun00.github.io/2014/09/decision-tree/

https://www.cnblogs.com/wxquare/p/5379970.html

2)cart当中的基尼系数的计算：

《百面机器学习笔记》：https://www.jianshu.com/p/2c893840687a

这个作者开设的专栏，讲解了大部分机器学习算法，值得一看

https://blog.csdn.net/baimafujinji/article/details/53269040

3)cart回归于分类的说明：

https://www.jianshu.com/p/b90a9ce05b28

4)剪枝

剪枝理论基础：

https://blog.csdn.net/u012328159/article/details/79285214

剪枝分类：

https://www.cnblogs.com/starfire86/p/5749334.html

2.信息量，信息熵，交叉熵，KL散度和互信息（信息增益）

参考链接：

https://www.jianshu.com/p/07951a3f35f8

https://blog.csdn.net/zshfeng/article/details/77972651

https://blog.csdn.net/colourful_sky/article/details/78534122

https://blog.csdn.net/haolexiao/article/details/70142571

 

3.逻辑回归 LR的 推导

 

https://www.cnblogs.com/onemorepoint/p/9321199.html

https://www.cnblogs.com/daguankele/p/6549891.html【考虑了Y={-1,1}/Y={0,1}的情况，并且讲解了多分类的情况】

https://blog.csdn.net/u014258807/article/details/80616647【写的很明白，讲述了Y={0,1}的情况，推导主要参考这个】

4.逻辑回归和svm的异同

https://www.cnblogs.com/Peyton-Li/p/7620081.html

5.判别模型vs生成模型

https://blog.csdn.net/u010358304/article/details/79748153

 

6.交叉熵的概念+对于权重求偏导

https://www.jianshu.com/p/63f8e69bb510