wanlin_yang的博客

本节课是对人工智能原理课的复习，以及对后续机器学习的学习思路建议。

本节课介绍了循环神经网络RNN和长短时记忆网络-LSTM，让我们的神经网络具有处理这种关联的能力。在实验编程中，我们将用全连接层的神经网络代码和用LSTM网络代码进行了比较，我们发现用LSTM网络代码会比用全连接层的神经网络代码准确率高，如果用第三方预处理的库，LSTM准确率会更高。

本节课介绍了神经网络该如何去识别和处理有关文字的时间依赖问题，编程实验为用神经网络对文本分进行类。下节课会用卷积操作把一个神经网络改造成为适合图像数据的卷积神经网络一样，我们把神经网络改造成为适合序列数据的结构。

本节课介绍了LeNet-5神经网络，它包括了两层卷积层、两层池化层。通过编程实验，我们发现LeNet-5神经网络在mnist的测试计算的准确率高，而且相比于上节课三层隐藏层，LeNet-5神经网络参数网实际上要少很多。当然这还是一个最早期的卷积神经网络结构，那在后期出现的更加复杂的卷经网络，比如AlexNet 、VGG等，在图像识别领域中的效果也越来越好。

本节课介绍了图像数据集mnist,还有训练集和测试集的含义，还介绍了图像上的卷积神经网络，编程实验对0-9手写体mnist数据集进行训练和测试。有关图像识别的问题，我们一般使用卷积神经网络，那么在下一节课，将会介绍卷积神经网络在图像识别上的效果。

深度学习就是收集数据，送入数据，进行训练。我们可以在学习率、激活函数、神经元的层数和数量等等方面调节神经网络的大致工作行为，也就是调参。本节课还介绍了sigmoid函数的梯度消失的问题，从而引进了relu激活函数，但是也有就能出现死亡Relu问题，所以提出了一种改进版的Relu函数(leaky-relu)。本节课编程实验用Karas搭建一个深度神经网络，拟合一下长得像蚊香一样的螺旋性数据集。

随着输入数据的特征越来越多，如果一个个的去编写函数表达式未免有点麻烦和拖沓，所以我们需要一个数学工具让这件事情变得简单，矩阵和向量。本节课还介绍了Keras，Keras 的开发重点是支持快速的实验。能够以最小的时延把你的想法转换为实验结果，是做好研究的关键。

本节课介绍多维特征数据输入，机器学习如何进行分类，同时还介绍线性不可分割问题，此时需要添加隐藏层神经元，通过调整这些神经元的参数，最终曲面扭曲，形成0.5的等高线。

本节课介绍了隐藏层，我们知道通常预测函数不会是简单的单调函数，我们就需要添加隐藏层来解决复杂函数。隐藏层的神经元数量越多，就可以产生越复杂的组合，解决越复杂的问题，当然计算量也随之越来越大。如果隐藏层超过三层的网络，就可以称之为深度神经网络。

我们说精确拟合的方式似乎并不是一个智能体在思考的时候常见的模式，往往分类判断更符合机器学习，所以引入了激活函数Logistic函数，并与阶跃函数做了对比。介绍了如何用复合函数的链式法则去求偏导，介绍了加入激活函数进行梯度下降的编程。

本文介绍完整的函数y=wx+b下的梯度下降原理和反向传播概念。

现代神经网络精髓之一的梯度下降算法，包括固定步长调整方法，批量梯度下降，随机梯度下降，mini-batch迷你批量梯度下降。

详细的分析了一下关于参数自适应调整的方式，并引入了回归分析以及现代神经网络TC之一的代价函数。最后，我们用初中数学知识抛物线的顶点坐标公式搞定了代价函数最低点的求解，并介绍了正规方程，也说明了这种方法的优缺点。同时介绍了预测函数和代价函数的编程讲解。

1943年，麦卡罗赫和皮次就在尝试这么干，并且建立了第一个神经元模型，McCulloch-Pitts模型。而为了让神经元能够自我调节，介绍了rosenblatt感知器的工作原理。在编程实验中，我们详细的讲述了如何用python语言去实现一个rosenblatt感知器。

坚持如无必要，不增新知的理念，围绕具体的问题，一步步给大家揭开机器学习神经网络的神秘面纱。