简陋总结网络搭建

最新推荐文章于 2024-07-28 15:37:27 发布

布纹球

最新推荐文章于 2024-07-28 15:37:27 发布

阅读量1.1k

点赞数

文章标签：人工智能

本文链接：https://blog.csdn.net/m0_63626366/article/details/121273188

版权

5、BN操作（Batch Normalization）批标准化：

一、什么是人工智能

1、人工智能：

人工智能是类人思考、类人行为，理性的思考、理性的行动。人工智能的基础是哲学、数学、经济学、神经科学、心理学、计算机工程、控制论、语言学。人工智能的发展，经过了孕育、诞生、早期的热情、现实的困难等数个阶段。

2、机器学习：

对于一个任务，设计一种算法，让算法能够提取数据中蕴含的规律，通过利用数据，训练出模型，然后使用模型预测的一种方法，这就叫机器学习。如果输入机器的数据是带有标签的，就称作有监督学习。如果数据是无标签的，就是无监督学习。

机器学习大致可以分为：

有监督学习：当我们已经拥有–些数据及数据对应的类标时，就可以通过这些数据训练出一个模型，再利用这个模型去预测新数据的类标，这种情况称为有监督学习。有监督学习可分为回归问题和分类问题两大类。

无监督学习：在无监督学习中是没有给定类标训练样本的，这就需要我们对给定的数据直接建模。

半监督学习：半监督学习介于有监督学习和无监督学习之间，给定的数据集既包括有类标的数据，也包括没有类标的数据，需要在工作量(例如数据的打标)和模型的准确率之间取一个平衡点。

强化学习( Reinforcement Learning)：从不懂到通过不断学习、总结规律，最终学会的过程便是强化学习。强化学习很依赖于学习的“周围环境”，强调如何基于“周围环境”而做出相应的动作。

3、深度学习：

深度学习是学习样本数据的内在规律和表示层次，这些学习过程中获得的信息对诸如文字，图像和声音等数据的解释有很大的帮助。它的最终目标是让机器能够像人一样具有分析学习能力，能够识别文字、图像和声音等数据。深度学习是一个复杂的机器学习算法，在语音和图像识别方面取得的效果，远远超过先前相关技术。

深入深度学习：

感知机：感知机接收多个输入信号，输出一个信号。像电流流过导线，向前方输送电子一样，感知机的信号也会形成流，向前方输送信息。感知机的信号只有“流/不流"(1/0)两种取值。0对应“不传递信号”。

图中的O称为 “神经元" 或者 “节点”。输人信号被送往神经元时，会被分别乘以固定的权重(w 1 x 1 , w 2 x 2 ）。神经元会计算传送过来的信号的总和，只有当这个总和超过了某个界限值时，才会输出1。这也称为 “神经元被激活”。这里将这个界限值称为阈值，用符号 θ 表示。、

三者的关系：

在这里插入图片描述

常见的基础机器学习算法：1.回归算法 2.聚类算法

回归：回归算法是试图采用对误差的衡量来探索变量之间的关系的一类算法。
聚类：聚类，就像回归一样，有时候人们描述的是一类问题，有时候描述的是一类算法。聚类算法通常按照中心点或者分层的方式对输入数据进行归并。

分类与回归问题的区别：

输出量不同：分类和回归的区别在于输出变量的类型。定量输出称为回归，或者说是连续变量预测；定性输出称为分类，或者说是离散变量预测。

应用场景不同：分类问题是用于将事物打上一个标签，通常结果为离散值。例如判断一幅图片上的动物是一只猫还是一只狗，分类通常是建立在回归之上，分类的最后一层通常要使用softmax函数进行判断其所属类别。分类并没有逼近的概念，最终正确结果只有一个，错误的就是错误的，不会有相近的概念。

两者的相似之处：分类问题和回归回归本质一样，都是要建立映射关系。都是通过计算机学习数据集的特定规律，进而生成模型来实现预测任务。可以将回归问题和分类问题互相转化，即分类模型可将回归模型的输出离散化，回归模型也可将分类模型的输出连续化。

回归中的损失函数：cost(a,b)=∑_i=1^N▒(ax_i+b−y_i)^2

当找到这个公式的最小值时，就能得到最优的a,b. 而这对(a,b)就是能最好描述数据关系的模型参数。

什么是超参数：区分两者最大的一点就是是否通过数据来进行调整，模型参数通常是由数据来驱动调整，超参数则不需要数据来驱动，而是在训练前或者训练中人为的进行调整的参数。

通常可以将超参数分为三类：网络参数、优化参数、正则化参数。网络参数：可指网络层与层之间的交互方式（相加、相乘或者串接等）、卷积核数量和卷积核尺寸、网络层数（也称深度）和激活函数等。优化参数：一般指学习率（learning rate）、批样本数量（batch size）、不同优化器的参数以及部分损失函数的可调参数。正则化：权重衰减系数，丢弃法比率（dropout）。

二、神经网络基础结构

这是一个包含三个层次的神经网络。红色的是输入层，绿色的是输出层，紫色的是中间层（也叫隐藏层）。输入层有3个输入单元，隐藏层有4个单元，输出层有2个单元。

（从左到右型）（从上到下型）

设计一个神经网络时，输入层与输出层的节点数往往是固定的，中间层则可以自由指定；
神经网络结构图中的拓扑与箭头代表着预测过程时数据的流向，跟训练时的数据流有一定的区别；
结构图里的关键不是圆圈（代表“神经元”），而是连接线（代表“神经元”之间的连接）。每个连接线对应一个不同的权重（其值称为权值），这是需要训练得到的。

三、搭建卷积神经网络（CNN）

卷积神经网络是一种带有卷积结构的深度神经网络，卷积结构可以减少深层网络占用的内存量，其三个关键的操作，其一是局部感受野，其二是权值共享，其三是pooling层，有效的减少了网络的参数个数，缓解了模型的过拟合问题。

卷积神经网络是一种多层的监督学习神经网络，隐含层的卷积层和池采样层是实现卷积神经网络特征提取功能的核心模块。该网络模型通过采用梯度下降法最小化损失函数对网络中的权重参数逐层反向调节，通过频繁的迭代训练提高网络的精度。卷积神经网络的低隐层是由卷积层和最大池采样层交替组成，高层是全连接层对应传统多层感知器的隐含层和逻辑回归分类器。第一个全连接层的输入是由卷积层和子采样层进行特征提取得到的特征图像。最后一层输出层是一个分类器，可以采用逻辑回归，Softmax回归甚至是支持向量机对输入图像进行分类。

卷积神经网络结构包括：卷积层，降采样层（池化层），全链接层。每一层有多个特征图，每个特征图通过一种卷积滤波器提取输入的一种特征，每个特征图有多个神经元。

输入层：

1、卷积层：

简单定义：设:f(x),g(x)是R1上的两个可积函数，

先对g函数进行翻转，相当于在数轴上把g函数从右边褶到左边去，也就是卷积的“卷”的由来。

然后再把g函数平移到n，在这个位置对两个函数的对应点相乘，然后相加，这个过程是卷积的“积”的过程。

通过卷积运算我们可以提取出图像的特征，通过卷积运算可以使得原始信号的某些特征增强，并且降低噪声。

卷积

在这里插入图片描述

上图展示了一个卷积的过程，其中蓝色的图片(4*4)表示的是进行卷积的图片，阴影的图片(3*3)表示的是卷积核，绿色的图片(2*2)表示是进行卷积计算之后的图片。在卷积操作中有几个比较重要的参数，输入图片的尺寸、步长、卷积核的大小、输出图片的尺寸、填充大小。
下面用一个图来详细介绍这些参数：

在这里插入图片描述

输入图片的尺寸：上图中的蓝色图片(55)，表示的是需要进行卷积操作的图片，在后面的公式中有i ii来表示输入图片的尺寸。
卷积核的大小：上图中的会移动阴影图片表示的是卷积核(44)，通过不同参数不同大小的卷积核可以提取到图片的不同特征，后面用k kk表示卷积核的尺寸。
步长：是指卷积核移动的长度，通过上图可以发现卷积核水平方向移动的步长和垂直方向移动的步长是一样的都是1，后面用s 表示步长。
填充大小：是指在输入图片周围填充的圈数，通常都是用0来进行填充的，上图中蓝色图片周围两圈虚线的矩形表示的是填充的值，所以填充掉是2，后面用p 来表示填充大小。
输出图片的尺寸：经过卷积操作之后获取到的图片的大小，上图的绿色图片(6*6)，后面用o来表示。
如果已知i 、 k 、 p 、 s i、k、p、si、k、p、s，可以求得o ，计算公式如下：