机器学习 第一回:线性回归和对数几率回归
1.一元线性逻辑回归
任务:
1>求偏置b的推导公式
2>求偏置w的推导公式
3> w的向量化
1.1操作流程
1.2证明E(w,b)损失函数是凸函数+对b的偏置导数
1.3 求偏置w的推导公式
1.4 对w的向量化
2.多元线性逻辑回归
1>对损失函数改写
2>E(w,x)是凸函数的证明
3>求最优解w
2.1对损失函数改写
2.2 E(w,x)是凸函数的证明
2.3求w的最优解
3.对数几率回归(逻辑回归)
1>从伯努力方程到回归模型推导
2>极大似然估计
3>对数几率模型的极大似然估计
2种p(yIx;w,b)的损失函数推导
import matplotlib.pyplot as plt
import numpy as np
import pandas as pd
ex0 = pd.read_table('long.txt',header=None)
ex0#.head()
def get_Mat(dataSet):
xMat = np.mat(dataSet.iloc[:,:-1].values)
yMat = np.mat(dataSet.iloc[:,-1].values).T
return xMat,yMat
xMat,yMat=get_Mat(ex0)
xMat[:10]#读取里面元素,变成矩阵
yMat[:10]
def plotShow(dataset):#给数据描点
xMat,yMat=get_Mat(dataset)
plt.scatter(xMat.A[:,1],yMat.A,c='r',s=2)#c颜色,s点的大小
plt.show()
#xMat.A[:,1]
#把xMat从matrix变成array,取1号的元素
plotShow(ex0)
def standRegres(dataset):#用来计算最佳拟合曲线
xMat,yMat=get_Mat(dataset)
xTx = xMat.T * xMat
# 求矩阵的行列式
if np.linalg.det(xTx) == 0.0:#np.linalg.det()此函数用于计算行列式
print("矩阵为奇异矩阵,不能求逆")
return
# .I求逆矩阵
ws = (xTx.I) * (xMat.T) * yMat
return ws
ws=standRegres(ex0)
#划线
def plotReg(dataSet):
xMat,yMat=get_Mat(dataSet)
plt.scatter(xMat.A[:,1],yMat.A,c='b',s=2)
ws = standRegres(dataSet)
yHat = xMat * ws
plt.plot(xMat[:,1],yHat,c='r')
plt.show()
plotReg(ex0)
#计算相关系数:0.98的相关性
xMat,yMat=get_Mat(ex0)
ws = standRegres(ex0)
yHat = xMat * ws
np.corrcoef(yHat.T,yMat.T)#保证是两个行向量