机器学习研究及最新进展

今天把一些有关机器学习的小点梳理了一下，目录如下：
机器学习的学习方式
机器学习面临的挑战
机器学习最新发展
（还在整理会议论文中……后续补充）
转载处：（1）http://blog.jobbole.com/77620/
（2）谭营教授 《机器学习研究及最新进展》

一 机器学习的学习方式
根据数据类型的不同，对一个问题的建模有不同的方式。在机器学习领域，可以根据输入数据的格式选择最合适的算法来获得最好的结果。
1 监督学习
在监督式学习下，输入数据被称为“训练数据”，每组训练数据有一个明确的标识或结果，在建立预测模型的时候，监督式学习建立一个学习过程，将预测结果与“训练数据”的实际结果进行比较，不断的调整预测模型，直到模型的预测结果达到一个预期的准确率。监督学习常见的应用场景有分类问题和回归问题。常见的算法由逻辑回归、SVM。
2 无监督学习
在非监督式学习中，数据没有被标示，学习模型是为了推断出数据的一些内在结构。常见的应用场景包括关联规则的学习以及聚类等。常见算法包括Apriori算法以及k-Means算法。
3 半监督学习
在此学习方式下，输入数据部分被标识，部分没有被标识，这种学习模型可以用来进行预测，但是模型首先需要学习数据的内在结构以便合理的组织数据来进行预测。应用场景包括分类和回归，算法包括一些对常用监督式学习算法的延伸，这些算法首先试图对未标识数据进行建模，在此基础上再对标识的数据进行预测。如图论推理算法（Graph Inference）或者拉普拉斯支持向量机（Laplacian SVM.）等。
4 强化学习
在这种学习模式下，输入数据作为对模型的反馈，不像监督模型那样，输入数据仅仅是作为一个检查模型对错的方式，在强化学习下，输入数据直接反馈到模型，模型必须对此立刻做出调整。常见的应用场景包括动态系统以及机器人控制等。
5 集成学习
集成学习用一些相对较弱的学习模型独立地就同样的样本进行训练，然后把结果整合起来进行整体预测。集成算法的主要难点在于究竟集成哪些独立的较弱的学习模型以及如何把学习结果整合起来。这是一类非常强大的算法，同时也非常流行。常见的算法包括：Boosting， Bootstrapped Aggregation（Bagging）， AdaBoost，堆叠泛化（Stacked Generalization， Blending），梯度推进机（Gradient Boosting Machine, GBM），随机森林（Random Forest）。

二 机器学习面临的挑战
1 不平衡数据问题
例子：以癌症诊断为例，健康人样本远远多于病人样本。
如何处理数据的不平衡性：
（1） Quora上关于分类是非均衡训练集问题的讨论
https://www.quora.com/In-classification-how-do-you-handle-an-unbalanced-training-set

（2） [文章]《Dealing with Unbalanced Classes ,Svm, Random Forests And Decision Trees In Python》

2 代价敏感问题
例子：
（1） 以癌症诊断为例，将病人误诊为健康人的代价与将健康人误诊为病人的代价是不同的
（2） 以信用卡盗用检测为例，将盗用误认为正常使用的代价与将正常使用误认为盗用的代价是不同的

3 可理解性问题
例子：
（1） 以乳腺癌诊断为例，需要向病人解释“为什么做出这样的诊断”；
（2） 以信用卡盗用检测为例，需要向安保部门解释“为什么这是正在被盗用的卡”

三 机器学习的最新进展
1 算法驱动（建模与数据分析）
（1） 海量非线性数据
（2） 算法的泛化能力考虑
（3） 学习结果数据的解释
（4） 代价加权的处理方法
（5） 不同数据类型的学习方法
2 应用驱动
自然语言分析、网络与电信数据分析、图像数据分析、金融与经济数据分析、零售业
数据分析、情报分析。
流形机器学习
半监督机器学习
多实例机器学习
Ranking机器学习
数据流机器学习
图模型机器学习