深度学习 1.神经网络原理 1.1神经元模型 1.2神经网络结构 1.3隐藏层 1.3.1激活函数层 1.4输出层 1.4.1softmax层 1.5损失函数 1.6反向传播 2.多层感知机 2.1线性网络的局限性 2.2引入非线性 2.3多层感知机(Multi-Layer Perceptron,MLP) 2.4激活函数(Activation Function) 2.4.1Sigmoid函数 2.4.2Tanh函数 2.4.3ReLU函数 2.4.4Softmax函数 3.前向传播和反向传播 3.1前向传播 3.2损失函数 3.3反向传播 3.3.1反向传播原理 3.3.2最小化损失函数 4.多层感知机代码实现 4.1MNIST数据集 4.2Pytorch搭建神经网络 4.2.1导入数据 4.2.2创建网络结构 4.2.3定义损失函数 4.2.4创建优化器 4.2.5训练模型 4.2.6测试模型 4.2.7保存模型参数 5.回归问题 5.1一元线性回归 5.2多元线性回归 5.3多项式回归 5.4线性回归代码实现 5.4.1数据生成 5.4.2设置超参数 5.4.3初始化参数 5.4.3开始训练 5.4.4可视化 5.4.5利用Pytorch实现线性回归 6.分类问题 6.1分类任务的定义 6.2机器学习算法流程 6.3多分类问题的数学表示 6.4Softmax回归 6.4损失函数 6.4.1对数损失函数 6.4.2交叉熵损失函数 7.多分类问题代码实现 7.1加载MNIST数据集 7.2数据加载器 7.3构建网络 7.4定义损失函数和优化器 7.5模型评估 7.6模型训练 1.神经网络原理 1.1神经元模型 神经网络是一种数学模型,下图是一个最简单的神经元,通常用带有输入输出的圆圈来表示,虽然其名为神经元,但是其内在是线性模型。 神经元模型用数学公式表示为 y = f ( ∑ i = 1 n