神经网络基础

二分分类

二分分类问题指数据样本的标签只有两种的分类问题。比如给出一张图片，判断图片的动物是否是猫。如果这张图片大小为64*64，颜色通道为RGB，那么可以定义这张图片的特征向量为所有像素的组合，特征向量的长度为3*64*64。

定义二分分类问题使用的数学符号。对于某个样本$(x, y)$，$x \in R^{n_x}$是样本的特征向量，$y \in \{0, 1\}$是样本的标签。对于有m个样本的数据集$\{(x^{(1)}, y^{(1)}), (x^{(2)}, y^{(2)}), \cdots, (x^{(m)}, y^{(m)})\}$，第i个样本为$(x^{(i)}, y^{(i)})$。使用矩阵$X \in R^{n_x \times m}$来保存数据集的特征向量

$$X = \begin{bmatrix} x^{(1)}, x^{(2)}, \cdots, x^{(m)} \end{bmatrix}$$
使用矩阵 $Y \in R^{1 \times m}$来保存数据集的标签
$$X = \begin{bmatrix} y^{(1)}, y^{(2)}, \cdots, y^{(m)} \end{bmatrix}$$

logistic 回归

logistic 回归是解决二分分类问题的一种解决方法，通过样本的特征向量计算出一个分数，通过分类来预测这个样本的标签，准确来说，这个分数表示样本的标签为1的概率。

定义参数$w \in R^{n_x}$，$b \in R$。预测的结果$\hat{y}$可以这样计算：

y^=wTx+b