如图中梯度上升法给出的函数代码。
假设函数为:
1、梯度上升算法(参数极大似然估计值):
通过查看《统计学习方法》中的模型参数估计,分类结果为类别0和类别1的概率分别为:
则似然函数为:
对数似然函数为:
最大似然估计求使得对数似然函数取最大值时的参数
θ
θ
对
L(θ)
L
(
θ
)
求导得:
即为:
则单个特征系数的梯度上升法的迭代公式为:
对整个特征参数向量的梯度上升法的迭代公式为:
2、当然也可以采用梯度下降方法(代价函数最小化)
这部分可以参考吴恩达老师的《机器学习》视频,就不详细说明了。
代价函数为:
求导得到:
对参数向量有: