机器学习01

• 绪论：初识机器学习
• 单变量线性回归
• 线性代数回顾

绪论：初识机器学习

机器学习：

计算机从经验E中学习，解决一个任务T，进行某一性能度量P，通过P测定，在T上的表现因经验E而提高
——Tom Mitchell

在没有明确设置的情况下，使计算机具有学习能力的研究领域
——Arthur Samuel

机器学习:

• 监督学习（Supervised Learning）

给算法一个数据集，其中包含正确答案，算法给出预测值
Eg：分类问题；回归问题

• 无监督学习（Unsupervised Learning）

给算法一个数据集，其中不包含正确答案，算法给出预测值
Eg：聚类问题（分类+标签）；鸡尾酒会算法（声音分离）

单变量线性回归

NO.6

m = 训练样本的数量
x = 输入变量 / 特征
y = 输出变量 / 目标变量
(x,y) = 一个训练样本
(x⁽ⁱ⁾,y⁽ⁱ⁾) = 第 i 个训练样本

监督工作:

NO.7

代价函数：

$J({\theta }_0,{\theta }_1$)：代价函数（cost function）/平方误差函数（square error function）

NO.9 梯度下降（Gradient Descent）

also called：‘Batch’ Gradient Descent （这个是全览整个数据集）

会有局部最优解

注：

• := 赋值运算符
• α Learning rate 学习率（控制速度）
• for j=0 and j=1 simultaneously update ${\theta }_0,{\theta }_1$ （同步更新）
  
  注：顺序不可改，需要同步！

NO.11

注：

• 若α过大，会跳过最低点，可能会导致发散
• 由于各点斜率不同，离最低点越近，斜率的绝对值越小，所以变化越慢，无需改变α

NO.12

求偏导：

带回得：

although 梯度下降会有局部最优解，但是，实际上，我们用到的代价函数，总是凸函数（convex function），只有全局最优

线性代数回顾

大写字母：矩阵
小写字母：数字、标量、向量

矩阵相加：对应元素相加
矩阵乘除实数：每个数与之 $\times /÷$
矩阵相乘：$A_{ij}:A_1的行(i)\times A_2的列(j)$ [ 对应求和 ]
(m×n) × (n×1) -> (m×1)
$A\times B̸=B\times A$
$A\times B\times C=(A\times B)\times C=A\times (B\times C)$
$A\cdot A^{-1}=A\cdot A^{-1}=I$