机器学习基本概念简介

1. 回归

regression：The function outputs a scalar.
回归：这个函数的输出是一个数值。

2. 分类

classification：given options(classes),the function outputs the correct one.
分类：给定选项（类），函数输出正确的选项。

3. 结构化学习

structured learning：create something with structure(image,document).
结构化学习：创造有结构的东西（图像，文档）。

4. 模型，特征，权重

y = b + wx 为模型，其中 x 为 feature（特征），w 为 weight 权重，b 为 bias。

5. Loss

Loss 输入是 b 和 w，输出代表参数设定是好还是不好。

L 越大表示参数设置的越不好。

6. label

label（标签），机器学习中正确的数值。

7. 误差

1. mean absolute error (MAE)，平均绝对误差
   
2. is mean square error (MSE)，均方误差
   

8. Optimization

optimization（最优化）

gradient descent（梯度下降）

hyperparameter（超参数）：机器学习要自己设定的参数。

9. Sigmoid Function

10. Relu

11. overfitting

training 的 loss 小，testing 的 loss 大为overfitting（过拟合）。

解决方法：

1. 增加训练资料。

多搜集资料，或者通过 Data augmentation（数据扩充），例如图片翻转或裁减。

2. 不要让模型有那么大的弹性，给模型增加限制。

Less parameters（更少的参数）, sharing parameters（共享参数）
Early stopping（提前终止）
Regularization（正则化、规则化）
Dropout（辍学？）

12. 机器学习攻略