Machine Learning-常见概念

哇哇哇好久没有更新了，难得今天不用加班就来整理一下近10天的学习内容呗，也没有落后很多，也就2节课嘻嘻~

这2次课讲的内容主要在一些“哲学”性的东西，机器学习的应用罗列，还有一些常用的算法，因为本人主攻金融数据分析挖掘及建模方向，所以这里会针对性地对一些重点进行归纳总结。

一、Occam’s Razor and Overfitting（奥卡姆剃刀原理）

指的是对训练数据最简单的解释就是最好的，训练的模型可能越简单越好，即如果有2个模型的效果效果差不多，那选择简单的那个。

二、Overfiting（过拟合）

教科书式定义：为了得到一致假设而使假设变得过度严格称为过拟合。

通俗来说，就是对你输入的数据进行了非常严格的拟合，但模型的复用性不强，在测试集上效果差，模型泛化能力弱。大家可以看下下图。

（图来自周志华的《机器学习》）

三、Avoid Overfiting（避免过拟合）

1.获取更多数据

这个是解决过拟合最有效的办法，只要有足够多的数据，模型可以自我修复，更具泛化能力。

2.使用合适的模型

过拟合主要由2个原因造成：数据太少+模型太复杂，所以我们可以通过选择合适复杂度的模型来解决这个问题。

3.结合多个模型

其实就是建立很多个模型，训练他们，以他们的平均输出作为结果。

4.K折交叉验证

在机器学习中，将数据集A分为训练集（training set）B和测试集（test set）C，在样本量不充足的情况下，为了充分利用数据集对算法效果进行测试，将数据集A随机分为k个包，每次将其中一个包作为测试集，剩下k-1个包作为训练集进行训练。

5.贝叶斯方法

更多的内容可参考下面链接?

https://www.zhihu.com/question/59201590/answer/167392763

四、Supervised Learning（有监督学习）

是否有监督（supervised），就看输入数据是否有标签（label）。输入数据有标签，则为有监督学习，没标签则为无监督学习。

最简单也最普遍的一类机器学习算法就是分类（classification）。对于分类，输入的训练数据有特征（feature），有标签（label）。所谓的学习，其本质就是找到特征和标签间的关系（mapping）。这样当有特征而无标签的未知数据输入时，我们就可以通过已有的关系得到未知数据标签。

五、Unsupervised Learning (无监督学习)

相反，即无监督学习，常见的就是clustering（聚类），对一对数据进行相似度聚合

六、Semi-Supervised Learning（半监督学习）

对于半监督学习，其训练数据的一部分是有标签的，另一部分没有标签，而没标签数据的数量常常极大于有标签数据数量（这也是符合现实情况的）。隐藏在半监督学习下的基本规律在于：数据的分布必然不是完全随机的，通过一些有标签数据的局部特征，以及更多没标签数据的整体分布，就可以得到可以接受甚至是非常好的分类结果。

七、参考文献及资料

1）机器学习中用来防止过拟合的方法有哪些？

https://www.zhihu.com/question/59201590/answer/167392763

2）王丰：什么是无监督学习？

https://www.zhihu.com/question/23194489/answer/25028661

备注：内容来自于小象学院的《机器学习全新升级版》的课程内容，主讲人为秦曾昌老师。

—End—