《机器学习基石》台大林轩田_学习笔记01_The Learning Problem

Lecture 1: The Learning Problem

1 Course Introduction

Foundation oriented ML course
illustrative、technical、practical 理论、方法、应用相结合

2 What is Machine Learning

· learning：acquiring skill with experience accumulated from observation
学习：从观察出发，通过积累的经验，获得技能
observation->learning->skill
观察->学习->技能
· skill：improve some performance measure
技能：某种表现的提高
· machine learning：improving some performance measure with experience computed from data
机器学习：从数据出发，经过电脑的计算和处理，使得某种表现得以提高
data->machine learning->improved performance measure
数据->机器学习->技能

ML：an alternative route to build complicated
让机器自己分析数据进行学习
· 需要机器学习的原因
1） 数据信息人类无法获取，需要自适应：navigating on Mars
2）很难确定规则：speech/visual recognition
3）需要快速决策：high-frequency trading
4）需要个性化：consumer-targeted marketing

· 机器学习的关键
1）some ‘underlying pattern’ can be learned [performance measure]
有潜藏的模式可以进行学习
2）no programmable definition [ML]
存在规则，但不知如何描述
3）there is data about the pattern [inputs]
具有数据

3 Application Machine Learning

衣、食、住、行、教育、娱乐
教育：线上教学系统（通过给学生做题，了解学生会了什么，不会什么 [题目难度、学生能力]）
娱乐：推荐系统

4 Components of Machine Learning

1）input 输入 $x\in X$
2）output 输出 $y\in Y$
3）target function 目标函数 $f:X->Y$
4）data/training examples 数据 $D=(x_1,y_1),(x_2,y_2),...,(x_N,y_N)$
5）hypothesis/skill 假设 $g:X->Y$
$(x_n,y_n)$ from $f->ML->g$

learning model：$A$ and $H$
学习模型：演算法和假设集
ML：use data to compute hypothesis g that approximates target f
根据模型H，使用演算法A，在训练样本D上进行训练，得到假设集H中最好的h，其对应的g就是我们最后需要的机器学习的模型函数，一般g尽可能接近于目标函数f。

5 Machine Learning and Other Fields

1）data mining 数据挖掘
focus on efficient computation in large database 更关注计算效率问题
两者密不可分
2）artificial intelligence 人工智能
compute something that shows intelligent behavior
机器学习是实现人工智能的一种方法
3）statistics 统计
focus on provable results with math assumption, and care less about computation 更偏向从数学假设出发，而不是计算
统计是实现机器学习的一种方法