定义
- 解决二分类问题
- y ^ = 1 1 + e − z \hat{y}=\frac{1}{1+e^{-z}} y^=1+e−z1,此函数也成为Sigmoid函数,z = θ T X \theta^{T}X θTX
代价函数
- L = − y l o g y ^ − ( 1 − y ) l o g ( 1 − y ^ ) L=-ylog\hat{y}-(1-y)log(1-\hat{y}) L=−ylogy^−(1−y)log(1−y^),y为实际值, y ^ \hat{y} y^为预测值
- 损失转化为分段函数,即为 L = { − l o g ( y ^ ) , y = 1 − l o g ( 1 − y ^ ) , y = 0 L= \left\{\begin{matrix} -log(\hat{y}), y=1 \\ -log(1-\hat{y}),y=0 \end{matrix}\right. L={−log(y^),y=1−log(1−y^),y=0
梯度下降求得最优解
- θ j − α ∑ 1 m ( y ^ − y ) x j → θ j \theta _{j}-\alpha \sum_{1}^{m}(\hat{y}-y)x_{j}\rightarrow \theta _{j} θj−α∑1m(y^−y)xj→θj