机器学习的分类问题和回归问题；深度学习超参数介绍；网络搭建

一、机器学习定义

  理解机器学习，首先明确机器。

  机器，指的是计算机，算法运行物理载体。

  机器学习，为了完成一项任务，我们通过设计一种算法，利用数据，提取数据中蕴含规律，训练出模型，让模型进行预测。

  输入机器的数据带有标签，为有监督学习。否则为无监督学习。

二、分类与回归问题区别

1、输入变量不同

连续变量预测称为回归；eg：预测明天气温

离散变量预测称为分类。eg：预测明天天气

2、应用场景不同

（分类通常建立在回归之上，而且分类没有相近概念，最终正确结果只有一个）

三、分类与回归问题的相同之处

  本质一个，都需要建立映射关系，都是通过计算机学习数据，进而生成模型预测。

  回归和分类问题可以相互转换。

四、线性回归

  回归分析常用于分析变量x与y的关系。

  常见的线性模型是y=ax+b。

 

五、 损失函数

为了提高函数匹配程度，我们就需要误差公式，叫作损失函数。

超参数

一、参数与超参数的区别

模型参数通常由数据来驱动，超参数不需要。

二、分类

通常可以将超参数分为三类：网络参数、优化参数、正则化参数。

​ 网络参数：可指网络层与层之间的交互方式（相加、相乘或者串接等）、卷积核数量和卷积核尺寸、网络层数（也称深度）和激活函数等。 ​

优化参数：一般指学习率（learning rate）、批样本数量（batch size）、不同优化器的参数以及部分损失函数的可调参数。

​ 正则化：权重衰减系数，丢弃法比率（dropout）

三、重要性顺序

1.学习率，损失函数上的可调参数

2.批样本数量

3.优化器超参数、权重衰减系数、dropout和网络参数

网络搭建