林轩田之机器学习课程笔记（ distilling hidden features之final）（32之32）

欢迎转载，可以关注博客：http://blog.csdn.net/cqy_chen
本次的课程笔记完毕。后面的课程笔记主要是hinton大神的深度学习课程。

希望在看问题之前看看机器学习的处理流程，这样流程中的每个步骤很多地方采用不同的模型。

概要

上传讲到了矩阵分解这样的模型，本节是对这次课程的一个总结。

特征提取技巧

kernel 转换

我们学习到了各种各样的转换，kernel转换，然后kernel再配合线性模型就可以做一些非线性模型。

aggravatiton 转换

决策树桩，决策树，RBF就相当于基函数，然后通过blending的方法进行模型融合。各种模型之间融汇贯通。

自动提取特征

这里相当于把特征看做一个变量，自动提取的方式实现。Adaboost这样的模型可以把基本的函数看做特征，最后做了模型融合。

低维度转换

把之类投影到低维度上去，然后进行计算。

优化技巧

最优化

一般优化技巧就是梯度下降的方式。

这里通过梯度下降，还有一些变形，比如泰勒二次展开，可能就是牛顿法了。

问题转换

这里原始问题比较难，通过对偶，表示等方法进行求解。

子问题求解方式

当原问题比较难，通过问题拆解的方式，或者交互的方式求解。

过拟合处理方式

当模型足够复杂的时候，容易过拟合，这个时候可能就需要做一些正则化的事情。

踩刹车方式

常用的方式就是在一些地方限制模型的能力，加上一些条件。

盯住仪表盘

当模型过于复杂的时候，要时刻看看模型的情况，比如通过交叉验证的方式。

机器学习实践

这里介绍的是林老师在kddcup中的实践。
2010年的kddcup的流程

2011年kddcup的步骤：

2012年kddcup

2013年的kddcup

2006年统计的十大数据挖掘算法

一堆机器学习算法，学会融汇贯通。

欢迎转载，可以关注博客：http://blog.csdn.net/cqy_chen