Machine Learning Course-CS 156 笔记 1

Lecture 1 :The Learning Problem

视频地址:https://www.youtube.com/watch?v=mbyG85GZ0PI

---

示例

预测用户对电影的评分

机器学习的本质：

• 存在pattern
• 不能用数学方法完成(所以需要学习)
• 拥有数据

---

学习的组成部分

比喻：银行借贷的信用评价

申请人信息：

年龄	性别	年薪	定居时间	债务	…
23岁	男	$30000	1年	$15000	…

公式化：

• 输入： $x$ (客户信息)
• 输出： $y$ (客户好/坏)
• 目标函数： $f: X \rightarrow Y$ (理想的信用评估公式)
  所有机器学习问题里，目标函数是未知的

• 数据： $(x_1,y_1),(x_2,y_2),...,(x_N,y_N)$ (历史数据)

  $\downarrow\qquad\downarrow\qquad\downarrow$

• 假设： $g:X\rightarrow Y$ (将使用的公式)

解决部分：

• 假设集合
  $H=\{h\}\qquad g\in H$

• 学习算法

二者在一起成为了算法模型

---

一个简单的学习算法——感知机PLA:

对于输入 $x=(x_1,...,x_d)$ (用户的属性)

$$若\sum_{i=1}^d w_i x_i\gt threshold，则信用通过$$

$$若\sum_{i=1}^d w_i x_i\lt threshold，则信用不通过$$

线性公式 $h\in H$ 可写为：

$$h(x)=sign((\sum_{i=1}^d w_i x_i)-threshold )$$

改写为：

$$h(x)=sign((\sum_{i=1}^d w_i x_i) + w_0)$$
引入 $x_0=1$ :
$$h(x)=sign(\sum_{i=0}^d w_i x_i)$$
向量形式：
$$h(x)=sign( w^T x)$$

对于一个误分类点，即 $sign(w^T x_n) \neq y_n$,更新权重 $w \leftarrow w+y_n x_n$

---

学习的分类

学习的基本前提：

using a set of observations to uncover an underlying process

• 监督学习(input,correct output)
• 非监督学习(input,?)
• 强化学习(input, some output,grade for this output)

---

Puzzle