[机器学习入门第一章] 机器学习概览

一.监督式/无监督式学习

监督式学习

训练集贴标签了
列出一些重要的监督式算法

• K-紧邻 （K-nearest Neighbors)
• 线性回归 （linear regression)
• 逻辑回归 （logestic regression)
• 支持向量机 （svm)
• 决策树和决策森林（Decision trees and random forest)
• 神经网络（Neural network)

无监督式学习

训练集没标记
列出一些无监督学习

• k平均 （k-means)
• 分层聚类分析 （HCA)
• 最大期望算法（expectation maximization)
• apriori
• Eclat
• PCA主成分分析
• kennel PCA 核成分分析
• LLE 局部线性嵌入

小概念：降维：不丢失太多信息的情况下压缩数据，方法之一是将多个特征合为一个。

关于无监督式学习的一方面是关联规则学习，目的是挖掘大量数据，发现属性之间的联系。

半监督式学习

有些算法可以处理部分标记的数据——通常是少量标记和大量未标记的数据。
例如手机里的照片托管服务，存进去一堆照片，手机会自动帮你分好类，这是无监督部分，现在需要你来给这些堆打标签，这是监督式的部分。

强化学习

系统不断做出选择，之后得到奖励或者惩罚，从而不断地在选择中学习，选择最好的策略。

二.批量学习和在线式学习

在批量学习中，系统无法进行增量学习——即必须使用所有可用数据进行训练，这需要大量时间和数据。
在线学习，你可以循序地给系统提供训练数据，逐步积累学习成果。
增量学习系统一个重要参数其不断适应变化数据的速度，称为学习率，

三.基于实例和基于模型的学习

简而言之

• 学习数据
• 选择模型
• 使用训练数据进行训练，从而使成本函数最小化
• 最后，应用模型对新数据进行预测。

四.机器学习的挑战