【Machine Learning】机器学习笔记（1）——基础介绍 & Regression

0.0 写在前面

标注学习笔记的系列文章均为看完课程和资料之后的输出，输出是为了更好的输入，如有问题，欢迎批评、指正。

一、一些名词解释（持续更新）

• Machine Learning：机器学习
• Deep Learning ：深度学习
• Error Surface：误差曲面
• Parameters ：参数/模型参数

模型通过学习得到的参数，如权重和偏置

• Hyperparameters：超参数/算法参数

根据经验进行设定，影响到权重和偏置的大小，比如迭代次数、隐藏层的层数、每层神经元的个数、学习速率

• Optimization：最佳化
• Gradient Descent：梯度下降
• Local minima ：局部最小值（相对全局最小值）
• saddle point ：鞍点（值沿一方向稳定，一方向不稳定的点）

二、机器学习介绍

1、机器学习相关技术

机器学习，即让机器具备找函式的能力。

• 红色：task，要解决的问题
• 绿色：model，不同task里有不同的model
• 蓝色：学习的场景（有监督、无监督、半监督等）

• 监督学习：需要大量的Training data，通过训练数据找到function和input以及output之间的关系

监督学习和强化学习的区别：监督学习会告诉机器正确答案是什么；reinforcement learning不会告诉机器正确的答案是什么，机器所拥有的只有一个分数，就是他做的好还是不好。

• Regression 回归：函数的output是数字（scalar），可以选择线性模型，或者非线性模型，例如深度学习。输出是数字。
• Classification 分类: 给定类别选项，函数输出正确选项。Give option(classes),the function outputs the correct one.单选或者多选。输出是类别。
• Structured Learning 结构化学习：产生有结构的东西。create something with structure(image,document)。输出是结构化的内容，例如一首诗，一个句子，一个序列等。

2、如何确定函式

机器学习找函式的过程可以飞为三个步骤

模型假设→模型评估→模型优化
例：线性模型→损失函数→梯度下降

（1）Function with unknown Parameters

预测我们要找的函式F数学式的样子，例如y=w*x+b。y是预测的值，w和b是待定的参数，要通过已知的资料找出来。

（2）Define loss from Training data

定义一个Loss函数，以评估model的优劣。Loss函数的输入是w，b，输出是L。Loss：How good a set of value is. 它的值也是通过训练资料来计算，通过Loss函数我们可以对比所确定的函式预估结果 VS 真正的结果 得到两者间的差距有多大。L越大，代表这组参数越不好；L越小，代表这组参数越好。

loss常用的评估方式有：

• MAE 平均绝对误差
• MSE 均方差
• cross-Entropy 交叉熵

（3）optimization 优化

对误差函数进行优化，找到使得误差函数最小的参数集。

常用的优化方法是Gradient Descent（梯度下降），步骤为：

3、Optimization过程可能遇到的问题

• 当前最优（Stuck at local minima），非全局最优
• 等于0（Stuck at saddle point）
• 趋近于0（Very slow at the plateau）