L1 深度学习的基本概念2

       Linear model太过简单，功能受限，具有较大的Model Bias（与参数b不同）

        因此需要更复杂的function

对第一步的优化

Piecewise Linear分段线性分布函数

         如图：0+1+2+3 一系列蓝色线加起来就是红色的稍复杂一些的折线（分段线性分布）

        非线性关系也可以用紧密的点连接起来，用一个分段线性函数模拟，再用折线模拟

如何写出这些蓝色折线的方程

        用sigmoid函数进行模拟

                     可表示为   

        不同的w会改变斜率，不同的b会左右移动函数，不同的c会改变函数高度

        J 表示不同的feature，可以表示为矩阵计算

 

        分别经过sigmoid函数 

        最终结果的图表示与矩阵表示如下

 注意，灰底的b为偏差bais，是一个数值；绿底的b是一个向量

         将所有的参数累成一个表示为向量，即为最终的参数方程

 可以通过增加更多激活函数进行调整

 对第二步的优化

        上面已经将所有的参数改成 了（一个很长的向量） 

        随机选择一个初始的，计算gradient，不断更新

         实际上会将L分成若干个mini-batch ：L1，L2······，用这些Ln来计算gradient

        更新完一次参数叫一次update；算完所有的batch一次称为一次epoch

        sigmoid函数也可以换成ReLU函数等等，两个ReLU可以构成一个sigmoid，这些都成为激活函数Activation function

         神经网络（深度学习） 含有很多的隐层

 

         层数适度增加会比较好，但过多会导致过拟合（Overfitting）