动手学习深度学习心得2

这三天依然看的是深度学习的基础部分，学习内容如下：

一.多层感知机

多层感知机其实就是在输入层和输出层之间加入若干层隐藏层，并且每一层都是全连接层，其中每一个隐藏层的输出都要经过激活函数的处理变为下一层的输入，激活函数采用非线性函数，如果没有激活函数那么多层感知机也就相当于一层网络，常用的激活函数有Relu、sigmoid和tanh,并且通过代码了解了多层感知机的从零实现的原理。

二.欠拟合和过拟合

了解欠拟合和过拟合在训练误差和泛化误差中是如何表现出来的，了解两种的改善方案，尤其是对于过拟合问题，我们经常使用权重衰减法，简单来说就是在损失函数后面加一项正则惩罚项，丢弃法也是我们经常使用的方法，丢弃法就是使隐藏层的输出随机一部分为0。然后又了解了正向传播和反向传播的概念，最后通过Kaggle网站上的预测房价的竞赛来初步消化深度学习的步骤，本次对训练集采用K交折来处理，最后预测结果还是可以的。