全连接神经网络(FCN)学习笔记(为什么过拟合)

多层神经网络和激活函数前面章节已经讲过了，我觉得有点重复，咨询老师为什么要这样做，老师说很多童鞋并不是能够每天坚持学习，有很多童鞋一开始学习了几天，就放下不学了，等到下次要再学时有可能是一个星期，两个星期，甚至一个月，前面的东东有可能都忘了，而本课程一开始前几章节是基础，是非常重要的尤其是深度学习原理，关系到后续章节你是否能学懂，所以才设置重复的课程。
Mnist多层分类视频学习笔记：
此视频中讲解与Mnist分类不同的就是加入了两个网络层，两个网络层都用RELU激活函数对每层网络所提取的特征值进行激活。损失函数使用tf.nn.softmax_cross_entropy_with_logits，梯度下降优化使用了 tf.train.AdamOptimizer，其它代码都是延用Mnist分类代码，但就是这些改变就明显带来了模型精度提升到了95%比Mnist分类代码提升了12个点。

过拟合学习笔记：

过拟合学习我花了好多时间在学习matplotlib，sklear上，大概花我有1天的时间在这上面，主要是查找导入的plt，shuffle、colorConverter、ListedColormap的用法。
一开始我不明白为什么会过拟合呢，为什么我们训练好的模型在实际中就用不上呢？这个在视频中也没有讲解，咨询老师，老师回复说主要有以下四点吧：

1. 训练集和测试集的数据特征分布不一样，说白了就是神经网络根本没从训练集上学到测试集上的特征，到实战时自然就出现过拟合。

2. 训练集的数据