神经网络学习笔记（一）

神经网络模型搭建概述

以鸢尾花神经网络模型为例

输入特征：花萼长、花萼宽、花瓣长、花瓣宽
标签：不同输入特征对应的类别
数据集：由 标签+输入特征 组成

图中输入的数据为一维张量
在式子 y = x*w+b 中，w称为权重 , b称为偏置

神经网络的训练步骤大致如下图所示

神经网络梯度下降法的基本概念

以鸢尾花分类模型训练为例，鸢尾花分类采用梯度下降的方法，在梯度下降的过程中寻找一组最优的参数，使得损失函数最小。在神经网络的训练中存在前向转播和反向传播概念，以及损失函数、学习率、梯度等等概念，那么这些概念分别代表什么意思呢，这里将会以鸢尾花分类为例简单的介绍。

梯度下降法： 沿着损失函数梯度下降的方向，寻找损失函数的最小值，得到最优参数的方法。

损失函数 ：损失函数的作用是得到神经网络模型训练完成后，对于输入的特征进行预测的结果与实际值的差距。

梯度 ：函数对各参数求偏导后的向量，函数梯度下降方向是函数减小的方向。

学习率 ： 损失函数变化的距离，当学习率过大的时候梯度值可能会在最小值之间来回震荡；当学习率过小的时候收敛的过程容易变的缓慢。

反向传播 ：利用链式求导法则，不断优化模型的参数，将损失函数降到最小以获得最优模型的过程

前向传播 ： 根据所得的权重和偏置，计算预测出结果的过程

总结 ：本节学习笔记主要以鸢尾花分类模型为例子简单介绍了神经网络模型训练过程中的一些基本的概念和神经网络模型训练的大致流程，介绍的内容较为简洁。在下一节学习笔记中将重点介绍神经网络的python库tensorflow2中的一些常用的函数和基本的数据结构。