python实现周志华西瓜书《机器学习》习题3.3对数几率回归

python小白入手,第一个程序。
首先感谢大牛的源代码:

大牛的思路很巧妙,把矩阵操作转化成列表操作,时刻保证列表代表的矩阵维度一致。
我贡献的内容就是比较详细的注释,希望帮助更多的小白一起看懂


#代码基本是抄https://blog.csdn.net/onthewaygogoing/article/details/68485682
import numpy as np
#linalg是线性代数模块,包括求范数
from numpy import linalg
#pandas是导入表格数据的方法,详见http://codingpy.com/article/a-quick-intro-to-pandas/
import pandas as pd
#定义excel文件的读取路径
inputfile='/Users/huatong/PycharmProjects/Data/xiguaexcel.xls'
#读取数据文件,参数只填路径就可以
data_original=pd.read_excel(inputfile)
#βTx实际上是β乘x的转置。这里的beta是书里已经转置过的,x是第一行密度,第二行含糖量的矩阵,下面的x也就是书里的x^=(x;1)的转置。
#numpy array用于构造数组。read_excel读取出的数据是元组结构tuple。列表可读写元组只读。list用于把元组转换成列表,也就是把表格数据打散。单引号指定某一列
x=np.array([list(data_original['density']),list(data_original['suger']),[1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1]])
#y是是否好瓜,因为后面βTx的结果是一行,y也就是一行了
y=np.array(list(data_original['good']))
#定义初始参数,注意这个beta是书里β=(w;b)的转置
beta=np.array([[0],[0],[1]])
#3.27式的l(β),是上一次迭代的l值
old_l=0
#n是迭代次数
n=0

#迭代
while 1:
    #numpy dot是矩阵相乘,numpy T是求转置矩阵,因为β转置后只有一行,只需要转置后第一行与x^相乘
    beta_T_X=np.dot(beta.T[0],x)  #python没有数组概念,后面的beta_T_x[i]也就是列表中i元素的数值
    cur_l=0  #初始化l值,以下求和
    for i in range(17):
        cur_l=cur_l+(-y[i]*beta_T_X[i]+np.log(1+np.exp(beta_T_X[i]))) #式3.27,目标是求使得这个值最小的β

    #迭代终止条件
    if np.abs(cur_l-old_l)<=0.000001: #abs求绝对值,相差小于0.000001认为收敛
        break

    #牛顿法更新β,根据式3.29到3.31
    n=n+1
    old_l=cur_l
    dbeta=0  #一阶导,下面是二阶导
    d2beta=0
    for i in range(17):
        #这里的x是转置后的,因此这一步要再转置回来
        dbeta=dbeta-np.dot(np.array([x[:,i]]).T,(y[i]-(np.exp(beta_T_X[i])/(1+np.exp(beta_T_X[i])))))
        d2beta=d2beta+np.dot(np.array([x[:,i]]).T,np.array([x[:,i]]).T.T)*(np.exp(beta_T_X[i])/(1+np.exp(beta_T_X[i])))*(1-(np.exp(beta_T_X[i])/(1+np.exp(beta_T_X[i]))))
    beta=beta-np.dot(linalg.inv(d2beta),dbeta)  #inv是矩阵求逆
print('模型参数是:',beta)
print('迭代次数:',n)
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值