深度学习总结

神经网络：

目的：

           对自然界的某种函数的逼近。例如：一张图片和该图片的语义（即该图片的内容）之间是一种函数关系，只要能找到这个函数，机器就能识别一张图片内容。

    支撑点：

           能力+效率

 

/*********************************分割线******************************************/

如何模拟出这个函数呢？

       原理：可以对输入数据进行不同角度的分析，能得到对客观事物整体的认识。

 

       线性部分：w*x+b=z

       因为每个角度对认识事物的贡献值不同，因此需要有个权重w来衡量，同时需要偏置量b来调整该“线性函数“的位置，从而拟合目标函数。

      

       非线性部分/激活函数（必要性）：

       1、处理非线性模型。激活函数给神经元引入了非线性因素，使得神经网络可以任意逼近任何非线性函数，这样神经网络就可以应用到众多的非线性模型中。

       2、进行数据归一化。想让y+表示实际值y等于1的机率的话,那么y+的取值应该是（0，1）

 

       线性部分+非线性部分：神经元/感知器。

       神经网络其实就是按照一定规则连接起来的多个神经元

 

网络架构：能力+效率

       为了提高该网络的表达能力，即模拟目标函数的能力，需要从两方面来考虑：

       1、增加神经元个数

       2、增加隐层数，如果是线性模型，只需一层就够了。

       从表达能力来讲，我们希望有效的神经元个数和有效的隐层数越多越好，但是这样意味着训练的w和b就越多，学习时间越长。

 

如何衡量该网络架构模型的能力呢？

       损失函数：每个样本的计算值和目标值的误差;

       代价函数是对m个样本的损失函数求和然