1. logistic回归用于二分类回归算法
有m个训练集,,y表示标签,y取值0或者1,二分类问题。xi表示n维特征向量。
X表示nxm的特征矩阵,Y表示1xm标签向量。
(1) logistic回归函数:,W,b是权重。W是n维向量,b是权重。也是需要训练的值。
(2)损失函数(Loss function):(定义单个训练样本的情况)
log是单调递增函数,即在训练迭代过程中,为了更接近真实结果,损失函数逐渐减小。
(3)成本函数(cost function):(衡量了在全体样本上的表现)
迭代求出成本函数不断减小时的权重W,b。
2.梯度下降法
假设二维图形J(W),,a表示学习率,dJ表示斜率。
迭代找到最小点。
3. 使用python实现logistic回归