神经网络相关模型

1、逻辑回归模型

Logistic Regression模型：y’ = σ(WTx+b)，记住使用的激活函数σ( )是sigmoid函数。

损失函数：L(y’,y) = -[y·log(y’)+(1-y)·log(1-y’)]衡量预测值y’与真实值y的差距，越小越好。

代价函数：损失均值，J(W,b) = 1/m·Σmi=1L(y’(i),y(i))，是W和b的函数，学习的过程就是寻找W和b使得J(W,b)最小化的过程。求最小值的方法是用梯度下降法。

训练模型的步骤：
初始化W和b
指定learning rate和迭代次数
每次迭代，根据当前W和b计算对应的梯度（J对W，b的偏导数），然后更新W和b
迭代结束，学得W和b，带入模型进行预测，分别测试在训练集合测试集上的准确率，从而评价模型