机器学习（1.12）

机器学习——监督学习

-定义
-算法

---

定义

给出一个算法，需要部分数据集已经有正确答案。（自我理解：给定训练集的标签，通过监督学习算法，得到测试集的标签。）

Supervised Learning: 'right answer' given

监督学习又叫回归问题（回归属于监督中的一种），意指要预测一个连续值的输出。

Regression: Predict continuous valued output

分类问题也属于监督学习，意为预测一个离散值的输出

Classification: Discrete valued output(0 or 1)

总结

所有的回归算法和分类算法都属于监督算法。回归（Regression）和分类（Classification）的算法区别在于输出变量的类型，定量输出称为回归，或者说是连续变量预测；定性输出称为分类，或者说是离散变量预测。

算法

常用的监督学习算法：

• K近邻算法（K-Nearest Neighbors, KNN）——分类算法
• 决策树（Decision Trees）——分类算法
  
  • ID3算法
  • C4.5算法
• 朴素贝叶斯（Naive Bayesian）——分类算法
• 逻辑回归（Logistic Regression）——分类算法，主要用于二分类问题
• 线性回归（Linear Regression）——回归算法，常用的线性回归最优法有最小二乘法和梯度下降法。