Andrew Ng机器学习--L1:介绍和基本概念

1.1 机器学习是什么

参考视频 P2

1.1.1 机器学习定义

• Arthur Samuel (1959). Machine Learning: Field of study that gives computers the ability to learn without being explicitly programmed.

• 机器学习：在进行特定编程的情况下，给予计算机学习能力的领域。

• Tom Mitchell (1998) Well-posed Learning Problem: A computer program is said to learn from experience E with respect to some task T and
  some performance measure P, if its performance on T, as measured by P,
  improves with experience E.

• 卡内基梅隆大学Tom 定义：一个程序被认为能从经验 E 中学习，解决任务 T，达到性能度量值P， 当且仅当，有了经验 E 后，经过 P 评判，程序在处理 T 时的性能有所提升。

例题，以垃圾邮件监测为例，解释根据Tom 的定义，各个字母的对应：

1.1.2 机器学习算法

• Supervised learning 监督学习
• Unsupervised learning 无监督学习
• Reinforcement learning 强化学习
• Recommender systems 推荐系统

1、常用：

• Supervised Learning 监督学习：学习数据带有标签
• Unsupervised Learning 无监督学习：没有任何的标签，或者有相同的标签。已知数据集，不知如何处理，也未告知每个数据点是什么。
  
  
  （右侧的例子，无监督学习将数据划分为两个集合，也就是聚类clustering algorithm）

2、其他：

• Reinforcement learning 强化学习
• recommender systems 推荐系统

1.1.3 课程目的

If you actually tried to develop a machine learning system, how to make those best practices type decisions about the way in which you build your system.
如何在构建机器学习系统的时候选择最好的实践类型决策，节省时间。

1.2 监督学习

参考视频 P3

1.2.1 Regression 回归问题

预测结果是连续的输出值
在历史房价数据的基础上，预测房屋价格。可以使用直线拟合（粉色），也可以使用二次曲线拟合（蓝色）。

Supervised learning 监督学习：基于已有的正确结果。
Regression 回归问题：预测连续的输出值

1.2.2 Classification 分类问题

预测结果是离散的多个值
预测癌症恶性或良性

下图是癌症基于两个特征（两个维度，年龄和瘤的大小）进行预测的例子， 右边的横杠举例是其他可能维度（维度可能有无穷多个）

1.2.3 区分 “分类问题”和“回归问题”

例题：

1.3 无监督学习

参考视频 P4

1.3.1 聚类算法 Clustering algorithm

在现实生活中的应用：

1. Google News 每天将爬来的网址分为一个个的新闻专题。
2. 基因信息分组。
   
3. 组织大型计算机集群。 社交网络的分析。市场分割。天文数据分析
   
4. 鸡尾酒party问题，将混在一起的多个音频源拆开。
   
   通过这个例子，特别强调了Octave和MATLAB这些软件的简洁之处，这个算法的实现在Octave里只需要一行代码

[W,s,v] = svd((repmat(sum(x.*x,1),size(x,1),1).*x)*x');