ML课堂的第二个作业,逻辑回归要求如下:
数据集链接如下:
逻辑回归的关键是运用了sigmod函数,sigmod函数有一个很好的性质是其导函数很好求
函数图像:
sigmod会将函数值映射到(0,1)区间内,将其输出值看作是概率则有逻辑回归的二分类模型:
上式很好理解,sigmod(x)是x属于pos类的概率则x属于neg类的概率自然就是1-sigmod(x),两式子组合一下可得到下式:
上式其实就是一个概率密度函数,对θ做最大似然估计,使最大似然函数求到最大值。
用梯度下降法,梯度和更新公式如下:
题目要求用GD、SGD还有牛顿法目前实现了GD和SGD的,牛顿法会在后面更新,需要提到的是数据需要进行归一化,不然由于计算机内浮点数精度原因sigmod函数会取到1,log(sigmod)会出log(0)错,后面用tensorflow实现的版本用adam优化在不进行归一化的情况下可以收敛。
首先是梯度下降的代码
nolinear.py里面封装了一下sigmod函数
import math
def sigmods(x):
return 1/(math.exp(-x)+1)
然后是主文件: