PyTorch学习（神经网络基础1）

之前看的那个本深度学习书太难啃了，好多概念都不懂，真就从入门到放弃呗，于是我换了本从基础讲的，先补一补再回去看吧（笑哭）。

训练集、测试集、矩阵

训练集和测试集内部包含的数据类型都是相同的，即（x，y），x代表输入数据，特征向量，是个n维的向量；y代表输出值，标签。
当我们想把训练集变得更紧凑是时，可以用X一个矩阵把所有的特征向量放到一起，第一个特征向量放在第一列，第二个放在第二列，依次第m个放在m列。所以这个矩阵有m列，m为样本个数。
这样好像就有点能明白之前算法中矩阵是怎么突然出现的了。

逻辑回归

这里的例子是二元分类的，你进行一次输入想让算法输出预测，称之为𝑦^，代表着真实输出y的一种情况的可能性。X是n维的特征向量，即是输入，用w代表逻辑回归的参数，也是一个n维向量，参数中还有一个b，一个实数代表偏差。
$$y=w^{T}x+b$$
这是个线性函数，和线性回归的函数好像。
不过二元分类要的是出现的概率，答案的数值只能在0到1之间，线性函数明显超出了这个范围，要把这个函数当中sigmoid函数的参数，y=w^Tx+b记为z。
sigmod的函数样式和公式如下：
$$\delta （z）=\frac{1}{1+e^{-z}}$$

不过其实这种方法只是极限值为0和1且变换曲线太慢了，作为激活函数已经有了更好的替代。

逻辑回归的代价函数

了解代价函数前，需要知道损失函数，损失函数是根据单个训练样本的表现的定义的，代价函数则是对整体的表现，可以设为m个样本的损失函数求和然后除以m，损失函数和代价函数都是为了调整参数w与b而设置的。
在逻辑回归中损失函数可以设为：
$$L(y^{-},y)=-ylog(y^{-})-(1-y)log(1-y^{-})$$
代价函数则为：
$$J(w,b)=\frac{1}{m}\sum _1^{m}L(y^{-(i)},y^{(i)})$$

梯度下降法

有了代价函数，就可以通过最小化代价函数对参数w、b进行训练了。
上面给出的代价函数是一个凸函数，只需要在这个函数中找到w，b使得代价函数的值最小即可。
其更新参数的方法为：
$$w:=w-a\frac{\delta j(w,b)}{\delta w}$$
$$b:=b-a\frac{\delta j(w,b)}{\delta b}$$
a代表学习率，后面分式是代价函数的偏导数，代表在某一方向的斜率，通过调整学习率可以控制w,b接近最低点的速度。