一、Logistic Regression 基本网络结构
可以看到 Logistic Regression的网络结构相对比较简单,主要包括:输入层(用于单样本数据x1,x2,x3...的输入)和输出层(单个神经元),输入层和输出层之间是有权重连接的,这里相当于对输入数据做一个线性变换进而得到输出层的输入。值得注意的是,输出层是包含激活函数的,对于Logistic Regression其激活函数一般是sigmoid函数,形式为g(z)=1/(1+exp(-z)),用于对神经元的输入数据进行非线性映射,将最终结果的值映射到合理的范围内。
二、Forward Propagation——损失函数
Logistic Regression一般包括两个过程,正向传播(Forward propagation)和反馈传播(Backward propagation)。
正向传播即根据输入数据逐步计算初始的z1,a1以及衡量最终结果好坏的损失函数L(a1,y)。上图中,x1,x2表示单个样本的特征属性,w1,w2表示每个输入与神经元之间的权重,b表示神经元的偏置(bias),z1表示神经元的输入,a1表示z1经过非线性映射后的结果。
具体过程如下图所示: