机器学习基本概念

1. 什么是机器学习

让机器具备找函数的能力。

1.1 能做那些事情

语音识别、图片识别、游戏决策

1.2 不同的类别

1.2.1 回归(Regression)

该函数输出标量。

1.2.2 分类(Classification)

给定选项（类），函数输出正确的选项。

输出类别可以有多种(Playing GO)

1.2.3 结构化学习Structured Learning

创建具有结构的东西（图像、文档）

1.3 什么是model

带有未知参数的函数

x：feature，b、w未知参数

1.4 什么是loss

loss也是一个函数，输入变为b、w

损失：一组值的好坏。

1. 表达式
   

2. MAE与MSE
   

3. 取均值
   

1.5 优化问题

怎样的w、b 能使loss最小

1. 梯度下降
   
   我们步幅走多大呢？
hyperparameters：机器学习中需要自己设定的东西
   

推广
最后找出一组不错的w、b

1.6 机器学习就是这么简单

1.6.1 训练

2. 模型改进

线性模型太简单了......我们需要更复杂的模式。

2.1 一个更灵活的模型

所有分段线性曲线 = 常数 + 一组

非分段线性同样适用

为了获得良好的近似值，我们需要足够的散点。

2.2 Sigmoid函数

上述讲到的蓝色折线，如何表示此函数，我们用一个平滑曲线代替。

S型的函数

调整不同的b、w 产生不同形状的函数

2.2.1 更有弹性的新模型

新表达式

内部实现细节

数学表达式

符号替换

r

a

y

2.3 返回 ML 框架

2.3.1 函数未知参数

第一步

2.3.2 函数loss

新model，loss计算方法不变

损失是参数的函数

梯度更新相同

实际操作

更多变形

使用不同的激活函数，比如ReLU。

2.4 deep learning

简洁表达

神经元、神经网络、隐藏层

为什么我们想要“深度”网络，而不是“胖”网络？
使用够多的ReLU

overfitting

训练数据更好，看不见的数据更差。

3. 总结

这只是一个概述。