机器学习学习课程感悟

 

　　前言

　　最近几周花了点时间学习了下今年暑假龙星计划的机器学习课程，具体的课程资料参考见附录。本课程选讲了写ML中的基本模型，同时还介绍了最近几年比较热门，比较新的算法，另外也将ML理论和实际问题结合了起来，比如将其应用在视觉上，web上的等。总之，虽然课程内容讲得不是特别细（毕竟只有那么几节课），但是内容还算比较新和比较全的。学完这些课后，收获还算不少的，至少了解到了自己哪方面的知识比较弱，下面是课程中做的一些简单笔记。

 

　　第1课  绪论课

　　机器学习中3个比不可少的元素，数据，模型和算法。现在数据来源比较广泛，每天都可以产生T级以上的数据。模型的话就是机器学习课程中需要研究的各种模型，算法就是怎样通过数据和模型来学习出模型中的参数。但是余老师在课堂上提出一个观点就是这3个元素都不重要，最重要的是需求，一旦有了需求，就会采用各种方法取求解问题了。不愧是百度公司的技术副总监。另外机器学习的主要应用场合包括计算机视觉，语音识别，自然语音处理，搜索，推荐系统，无人驾驶，问答系统等。

 

　　第2课 线性模型

　　线性回归模型需要解决下面3个问题：

　　1. 怎样从训练数据估计线性模型的参数？即截距和斜率。

　　2. 学习到的线性模型性能怎样？我们是否可以找到更好的模型？

　　3. 模型中2个参数的重要性怎么估计？

　　解决第1个问题是一个优化问题，即求得使损失函数最小的参数。这里的损失函数是平方项的，也称为线性最小二乘思想。线性模型的表达式为：

　　

　　其中噪声参数为0均值的高斯噪声。如果后面求出的噪声不是一个均值为0，方差相同的类似高斯分布的随机变量，则说明这个模型还可以被改进。比如说将x首先映射到非线性函数中去，然后对非线性函数用最小二乘法做线性回归。至于怎样得到非线性映射函数f(x)则要么通过人为观察推测，要么通过机器学习中的特征学习来自动获得。

　　更广义的线性模型并不一定是一个线性方程。只是其参数可能是线性的。线性模型能够模拟非线性函数。

　　残差可以看做是噪声的近似。但是一般来说残差要比噪声小。所以在线性模型中，噪声项就可以用残差来估计，不过其分母不是1/n,而是1/(n-p)，因为需要达一个无偏估计。

　　特征向量元素属性的重要性评价常见的有以下2种方法：第一是抽掉一个特征想，然后计算其残差变化值与全部特征都用上的比值，所得到的分数为F-score，F-score越大，说明该属性越重要。第2种方法是采用t分布来假设检验得到Z-score，即假设对应特征属性不存在(即其值为0)时，出现样本数据的概率为Z-score，如果Z-score越大，说明该属性越不重要。

 

　　第3课 过拟合和规则项

　　Regularization中文意思是规则，指的是在overfitting和underfitting之间做平衡，通过限制参数空间来控制模型的复杂度。测试误差和训练误差之间差一个规则项，其公式为：

　　

　　模型越复杂说明模型越不稳定，学习到的目标函数越不光滑，也就越容易over-fitting。所以需要控制模型的复杂度，一般来说有2种方法，即减少模型中参数的个数或者减小参数的空间大小，目前用得最多的就是减小参数的空间大小，是通过规则项达到的。规则项的引入同时也需要引入一个调节的参数，该参数的大小一般通过交叉验证获得。如果规则项是2次的，则也称为ridge回归，规则项是一次的则称为lasso回归。Ridge回归的优点是解比较稳定，且允许参数的个数大于样本的个数。Lasson回归的优点是有稀疏解，不过解不一定稳定。

　　如果碰到参数个数大于样本个数