机器学习分类与回归问题与深度学习各类超参数介绍 及网络搭建介绍

目录

机器学习分类与回归问题与深度学习各类超参数介绍  

        机器学习的分类与回归问题

        深度学习各类超参数介绍

网络搭建介绍

        全连接层

        卷积层

        池化层

        激活函数

        BN操作

---

机器学习分类与回归问题与深度学习各类超参数介绍  

        机器学习的分类与回归问题

                一、机器学习

                        对于一个任务，设计一种算法，让算法能够提取数据中蕴含的规律，通过利用数据，训练出模型，然后使用模型预测的一种方法，这就叫机器学习。如果输入机器的数据是带有标签的，就称作有监督学习。如果数据是无标签的，就是无监督学习

                二、分类与回归

                        分类→提前知道结果；离散变量预测；打标签、判断、通常建立在回归上；sigmoid函数𝑓(𝑥)=11+𝑒−(𝑎𝑥+𝑏)f(x)=1/(1+e^(-(ax+b)) )

                        eg：卖西瓜→好瓜 or 坏瓜；

                        回归→结果未知；连续变量预测； 预测一个值；线性回归、损失函数；      

                        eg：人脸识别→无法预知识别的是人or猫or其他东西

        深度学习各类超参数介绍

                1、什么是超参数，参数和超参数的区别？

                        区分两者最大的一点就是是否通过数据来进行调整，模型参数通常是由数据来驱动调整，超参数则不需要数据来驱动，而是在训练前或者训练中人为的进行调整的参数。例如卷积核的具体核参数就是指模型参数，这是有数据驱动的。而学习率则是人为来进行调整的超参数。这里需要注意的是，通常情况下卷积核数量、卷积核尺寸这些也是超参数，注意与卷积核的核参数区分。

                2、神经网络中包含哪些超参数？     

  通常可以将超参数分为三类：网络参数、优化参数、正则化参数。

​         1、网络参数：可指网络层与层之间的交互方式（相加、相乘或者串接等）、卷积核数量和卷积核尺寸、网络层数（也称深度）和激活函数等。

​         2、优化参数：一般指学习率（learning rate）、批样本数量（batch size）、不同优化器的参数以及部分损失函数的可调参数。

​         3、正则化：权重衰减系数，丢弃法比率（dropout）。

网络搭建介绍

        全连接层

        全连接层的每一个结点都与上一层的所有结点相连，用来把前边提取到的特征综合起来。由于其全相连的特性，一般全连接层的参数也是最多的。

 

        卷积层

        卷积层（Convolutional layer），卷积神经网络中每层卷积层由若干卷积单元组成，每个卷积单元的参数都是通过反向传播算法最佳化得到的。卷积运算的目的是提取输入的不同特征，第一层卷积层可能只能提取一些低级的特征如边缘、线条和角等层级，更多层的网路能从低级特征中迭代提取更复杂的特征。

 

 

 

        池化层

 池化层特点：提取特征。

        激活函数

        激活函数（Activation functions）对于人工神经网络 [1] 模型去学习、理解非常复杂和非线性的函数来说具有十分重要的作用。它们将非线性特性引入到我们的网络中。如图1，在神经元中，输入的 inputs 通过加权，求和后，还被作用了一个函数，这个函数就是激活函数。引入激活函数是为了增加神经网络模型的非线性。没有激活函数的每层都相当于矩阵相乘。就算你叠加了若干层之后，无非还是个矩阵相乘罢了。

        如果不用激活函数，每一层输出都是上层输入的线性函数，无论神经网络有多少层，输出都是输入的线性组合，这种情况就是最原始的感知机（Perceptron）。

        如果使用的话，激活函数给神经元引入了非线性因素，使得神经网络可以任意逼近任何非线性函数，这样神经网络就可以应用到众多的非线性模型中。

 

        BN操作

        Batch Normalization 批标准化