1 Logistic Regression

Logistic Regression(对比之前)

符号惯例 参数w与参数b（偏置）分开

公式
? = ?^? * ? + ?
? = ?(?)
?(?,?) = −(?log(?) + (1 − ?)log(1 − ?))
a : 逻辑回归的输出 y : 样本的标签值

推导(链式法则)
?? / ?? = ? ⋅ (1 − ?)
??(?,?) / ?? = −?/? + (1 − ?)/(1 − ?)
?? = ??(?,?) / ?? = ?? / ?? = (?? / ??) ⋅ (?? / ??) = a − ?

向量化(利用前五个公式前向和后向传播，后两个梯度下降)
? = ?^? * ? + ? = ??.???(?.?,?) + ?
? = ?(?)
?? = ? − ?
?? = (1 / ?) ∗ ? ∗ ??^?
?? = (1 / ?) ∗ ??.???(??)
?:= ? − ? ∗ ??
?:= ? − ? ∗ ??