损失函数_激活函数的分类

机器学习-深度学习的知识：

监督学习

    分类问题，输出是离散的值。

    回归问题，输出是连续的值。

分类问题

损失函数: 针对分类问题，使用的是交叉熵损失函数，

                针对回归问题，使用的是MSE和 误差的绝对值

引入激活的函数的原因：（激活函数用于隐藏层）

       输入X 经过xw+b以后还是线性的，输出都是输入的线性组合， 无论引入多少层都是线性的，隐含层的存在没有意义，不能对数据进行很好的拟合。   

       如果引入激活函数，使神经网络可以任意逼近任何非线性函数，这样神经网络可以引用到众多的非线性模型中。

       当数据是分类问题的时候，线性函数已经不能解决问题了，这个时候，为了更好的分类问题，采用激活函数，进行非线性化，来分类。

激活函数的种类： sigmoid ,relu ,tanh各种的利弊，就不详解了，最好使用Relu 处理分类问题。

        输出层，输出层不使用激活函数，可以使用sigmoid（既可以作为激活函数，又可以最为输出层函数） 和softmax 函数

       sigmoid 解决二分类问题。

       分类数量>2的时候使用softmax函数 ，softmax的分类标签都使用onehot编码，对于二分类问题，如果采用sigmoid 最后一层 输出1个节点，

       如果采用softmax 最后一层输出1个节点。

       后续我会针对回归问题 做一个总结。