神经网络笔记1

1. 快速简介

  非线性函数在神经网络的计算上是至关重要的，如果略去这一步，那么两个矩阵将会合二为一，对于分类的评分计算将重新变成关于输入的线性函数。

2. 作为线性分类器的单个神经元

  一个单独的神经元可以用来实现一个二分类分类器，比如二分类的Softmax或者SVM分类器。在SVM/Softmax的例子中，正则化损失从生物学角度可以看做逐渐遗忘，因为它的效果是让所有突触权重 $w$ 在参数更新过程中逐渐向着0变化。

2.1 二分类Softmax分类器

  可以把$\displaystyle\sigma(\Sigma_iw_ix_i+b)$看做其中一个分类的概率$P(y_i=1|x_i;w)$，其他分类的概率为 P(y