机器学习作业-Logistic Regression（逻辑回归）

ML课堂的第二个作业，逻辑回归要求如下：

数据集链接如下：

http://openclassroom.stanford.edu/MainFolder/DocumentPage.php?course=DeepLearning&doc=exercises/ex4/ex4.html

逻辑回归的关键是运用了sigmod函数，sigmod函数有一个很好的性质是其导函数很好求

函数图像：

sigmod会将函数值映射到（0，1）区间内，将其输出值看作是概率则有逻辑回归的二分类模型：

上式很好理解，sigmod(x)是x属于pos类的概率则x属于neg类的概率自然就是1-sigmod(x)，两式子组合一下可得到下式：

上式其实就是一个概率密度函数，对θ做最大似然估计，使最大似然函数求到最大值。

用梯度下降法，梯度和更新公式如下：

题目要求用GD、SGD还有牛顿法目前实现了GD和SGD的，牛顿法会在后面更新，需要提到的是数据需要进行归一化，不然由于计算机内浮点数精度原因sigmod函数会取到1，log(sigmod）会出log(0）错，后面用tensorflow实现的版本用adam优化在不进行归一化的情况下可以收敛。

首先是梯度下降的代码

nolinear.py里面封装了一下sigmod函数

import math
def sigmods(x):
    return 1/(math.exp(-x)+1)

 

然后是主文件：