线性回归+逻辑回归

最新推荐文章于 2021-11-24 18:38:21 发布

qq_42033515

最新推荐文章于 2021-11-24 18:38:21 发布

阅读量237

点赞数

分类专栏：机器学习文章标签：逻辑回归

本文链接：https://blog.csdn.net/qq_42033515/article/details/112245695

版权

机器学习专栏收录该内容

2 篇文章 0 订阅

订阅专栏

机器学习第一回:线性回归和对数几率回归

1.一元线性逻辑回归
任务：
1>求偏置b的推导公式
2>求偏置w的推导公式
3> w的向量化

1.1操作流程
在这里插入图片描述

1.2证明E(w,b)损失函数是凸函数+对b的偏置导数
在这里插入图片描述

1.3 求偏置w的推导公式
在这里插入图片描述

1.4 对w的向量化
在这里插入图片描述

2.多元线性逻辑回归
1>对损失函数改写
2>E(w,x)是凸函数的证明
3>求最优解w

2.1对损失函数改写
在这里插入图片描述

2.2 E(w,x)是凸函数的证明
在这里插入图片描述

2.3求w的最优解
在这里插入图片描述

3.对数几率回归(逻辑回归)
1>从伯努力方程到回归模型推导
在这里插入图片描述

2>极大似然估计
在这里插入图片描述

3>对数几率模型的极大似然估计
在这里插入图片描述

2种p(yIx;w,b)的损失函数推导
在这里插入图片描述

import matplotlib.pyplot as plt
import numpy as np
import pandas as pd

ex0 = pd.read_table('long.txt',header=None)

ex0#.head()

def get_Mat(dataSet):
    xMat = np.mat(dataSet.iloc[:,:-1].values)
    yMat = np.mat(dataSet.iloc[:,-1].values).T
    return xMat,yMat

xMat,yMat=get_Mat(ex0)

xMat[:10]#读取里面元素，变成矩阵

yMat[:10]

def plotShow(dataset):#给数据描点
    xMat,yMat=get_Mat(dataset)
    plt.scatter(xMat.A[:,1],yMat.A,c='r',s=2)#c颜色，s点的大小
    plt.show()
    #xMat.A[:,1]
    #把xMat从matrix变成array,取1号的元素

plotShow(ex0)

def standRegres(dataset):#用来计算最佳拟合曲线
    xMat,yMat=get_Mat(dataset)
    xTx = xMat.T * xMat
    # 求矩阵的行列式
    if np.linalg.det(xTx) == 0.0:#np.linalg.det()此函数用于计算行列式
        print("矩阵为奇异矩阵，不能求逆")
        return
    # .I求逆矩阵
    ws = (xTx.I) * (xMat.T) * yMat
    return ws


ws=standRegres(ex0)

#划线
def plotReg(dataSet):
    xMat,yMat=get_Mat(dataSet)
    plt.scatter(xMat.A[:,1],yMat.A,c='b',s=2)
    ws = standRegres(dataSet)
    yHat = xMat * ws
    plt.plot(xMat[:,1],yHat,c='r')
    plt.show()

plotReg(ex0)

#计算相关系数:0.98的相关性
xMat,yMat=get_Mat(ex0)
ws = standRegres(ex0)
yHat = xMat * ws
np.corrcoef(yHat.T,yMat.T)#保证是两个行向量