机器学习算法平台alink_机器学习-逻辑回归算法

1-逻辑回归算法原理推导

逻辑回归算法其实是一个分类算法，是非常经典，优秀的算法。一般我们不知道用哪个分类算法的时候，首先用逻辑回归算法试一试；它不仅可以实现二分类算法，还可以解决多分类问题

逻辑回归算法用到Sigmoid函数

Sigmoid函数解决二分类任务

2-逻辑回归算法求解

机器学习基本上都是一样的，只要找出目标函数，让我的结果值最符合我的数据要去做似然函数；似然函数规则还是先写出基本的函数表达式，把目标函数带入到似然函数，在转换为对数函数，然后把梯度上升问题转换成梯度下降问题，言外之意就是求最大值时，转化为求负的最小值。

梯度下降的求导过程如下所示，这里说一下i,j表示的啥，i表示第几个样本，j表示样本第几个特征，第j个特征对应θj，当我更新第j个特征时，也就是更新θj时，咱们用第j列数据去更新，相当于对应于咱们当前参数的位置选择特定的列，继而完成求偏导过程。

梯度下降分析

一但知道偏导方向，更新的力度知道了，那么就可以求解了。

(h(x)-y)x是偏导方向，α是更新力度(学习率)，α不能太大也不能太小，通过学习率控制更新速度，1/m是我们综合考虑所有m个样本，(h(x)-y)x左面的部分是步长，偏导方向乘以步长，就是更新幅度