《神经网络与深度学习》课程笔记（1）

本博客作为神经网络与深度学习的内容与知识总结，提升神经网络与深度学习的相关使用水平，并且通过相关程序提升对于相关算法的数学认识与编程能力。

一.概述

通过人工智能不同学科的角度与发展思路引出了机器学习、神经网络、深度学习这三种人工智能方法，并且介绍了其应用与局限性。

介绍了神经网络与深度学习的发展历史与AI的发展趋势：

同时了解到目前对于人工智能算法工程师的需求巨大：

二.线性回归

（1）简单回归问题

在解决简单的线性回归问题，例如拟合一条简单的直线函数，甚至将其扩展，都可以运用以下的数学思路进行求解：

通过解析解可以发现，这种简单的回归方法就是矩阵分析中的最小二乘法拟合方法。

（2）分类问题

对于大量样本，可以通过分类算法进行分类，可以去分样本的特征，在该部分可以使用Sigmoid函数进行变换：

同样建立代价函数，但由于使用了上述变换，代价函数变为非线性，很难得到其解析解，此时可以使用迭代方法建立迭代序列。

该迭代序列为数值方法中的梯度下降法。

（3）对数回归

将代价函数使用贝叶斯公式，可以将二分类问题重新描述：

可以使用Softmax分析方法：

可以得到如下分类结构：

三.神经元模型

M-P模型可以通过简单的函数形式进行表示，使得神经网络拟合成为可能。

其中的作用函数包括Log Sigmoid、Tangent Sigmoid、对称型阶跃函数。

四.BP神经网络

BP神经网络是一种常见的人工神经网络模型，全称为“Back Propagation”，即反向传播算法。它由输入层、隐藏层和输出层组成，通过学习样本数据集中的特征与标签之间的关系，实现对数据的分类或回归预测。BP神经网络通过前向传播计算输出，然后通过反向传播算法来不断调整网络参数，以最小化预测输出与实际标签之间的误差，从而不断优化网络的性能。BP神经网络广泛应用于模式识别、数据挖掘、语音识别、图像处理等领域。一般BP模型有如下的网络结构：

通过引入多层感知机引入了BP神经网络：

对网络训练后可以得到如下的分辨结果：

五.性能优化

学习了一些提高算法性能的常用技巧：

1.模型初始化：

2.K折交叉验证：

3.权重衰减：

4.暂退：

并且了解了病态曲率问题与自适应梯度算法：