Neural Networks and Deep Learning 学习笔记(三)

1. 怎么理解$C(w,b) \equiv \frac{1}{2n} \sum_x \| y(x) - a\|^2$

首先，$\|v\|$是指范数

范函是一个函数，其为矢量空间内的所有矢量赋予非零的正长度或大小

好吧，这其实是个均方误差函数，可自行查阅百度百科，但是不明白为什么是$\frac{1}{2n}$。

2. 什么是梯度下降，为什么要用梯度下降算法。

首先，梯度就是标量场某一点增长最快的方向向量，向量大小是这个最大变化率。

就比如一元函数（就是y=f(x)这种）函数，那么梯度的大小为其导数，因为导数就是$\delta y / \delta x$，就是函数在这一点的变化率。而方向为切线方向，因为在x方向的变化量只有$\delta x$，y方向的变化量只有$\delta y$，而切线方向则为二者平方和的根号，显然切线方向增长最快。

我们知道沿梯度方向是增长最快的方向，那么沿着梯度的反方向就是减小最快的方向了。此时的减小率为最大也就是斜率。而$x-最大减小率乘以步长$，可以保证x在越接近极值点时x减小程度越小。

所以神经网络中用梯度下降法逼近真实值非常好，不至于一次减小的过大造成更大偏差。