Tensorflow学习——3 激活函数和损失函数

1、激活函数的作用
如果不用激活函数，每一层输出都是上层输入的线性函数，无论神经网络有多少层，输出都是输入的线性组合，这种情况就是最原始的感知机。
如果使用的话，激活函数给神经元引入了非线性因素，使得神经网络可以任意逼近任何非线性函数，这样神经网络就可以应用到众多的非线性模型中。

某些数据是线性可分的，比如下图。 图片来源

对于线性不可分的这时候我们就需要引入激活函数，让线性不可分变得可分

激活函数就是为了加入非线性因素。增强模型的表达能力（吴恩达的机器学习视频对这个解释的很清楚）
2、激活函数的种类
这儿有两篇blog写的还是比较详细的
https://blog.csdn.net/bojackhosreman/article/details/69372087
https://blog.csdn.net/not_guy/article/details/78749509
3、损失函数的作用
为了衡量模型模型预测的好坏，也就是真实值y_和预测值y之间的差距，越小越好。
4、损失函数的分类
https://blog.csdn.net/shenxiaoming77/article/details/51614601