机器学习——线性回归

线性回归，即将所给的数据，通过对各维度的加权分配，通过使测试集到该线的代价最小来拟合成一条光滑的曲线，从而可以看出数据的一种趋势。

当维度为一维时，比如房子的面积与房价的关系，x即为房子的面积，y即为房价，一般的，x与y的关系总是y随着x的增大而增大，而x到一定数值时，y的上升的加速度会慢慢的变小，即f（x）函数的导数会减小，但理论上不可能小于等于0。

线性回归的步骤

1.数据预处理

读取数据

import pandas as pd
path=r'数据文件位置\data.txt'
data=pd.read_csv(path,header=None,names=['Population','Profit'])#path为数据路径，数据类型可以不为csv，也可以为txt或其他，但返回类型一般为DataFrame,即数据索引数据帧

也可对读取到的数据进行DataFrame操作

#获取Dataframe的数据
data.values#获得的数据类型为array，不包括名字
####
data1=pd.DataFrame(data.values,header=None,columns=['所给各列的新名字'])
#DataFrame的数据类型位置调用为.iloc,如
#data为80colums*70rows，调取前35行35列
x=data.iloc[:35,:35]
#调取除了最后一列
x=data.iloc[:,:-1]
#调取最后一列
x=data.iloc[:,-1]

加载出来的函数可通过matplotlib或直接pandas自带的画图工具进行分析其大致数据分布在进行考虑处理对策

如我加载的区域人口数量与收益的数据可如下操作

data.plot(kind='scatter',x='Population',y='Profit',figsize=(12,8))

 2.线性回归

线性回归是模拟一条曲线（最简单形式）的形式，或是更高维度的x组合，或是将x高次幂进行组合的形式，拟合出一条代价最小的曲线

代价：

可以理解各点到线的距离

代价函数

 代码实现

def computeCost(X,y,theta):
    tem=np.power(((X*theta.T)-y),2)
    return np.sum(tem)/(2*len(X))

X,y,theta都为矩阵故获取方式为

#在第一列加入一列的1当作常数项
data.insert(0,'Ones',1)#顺序不能错,第0列，名字为‘Ones’,数据为1
#得到X和y
X=data.iloc[:,:-1].values#除了最后一列的全部数据
y=data.iloc[:,-1].values#最后一列的数据
column=data.shape[1]#data.shape返回行列，0的位置为行，1的位置为列,列为维度
theta=np.ones(column)#初始化x的权重系数,全为1
#以上X,y,theta都为array类型，将其转化为矩阵
X=np.matrix(X)
y=np.matrix(y)
theta=np.matrix(theta)

拟合的函数可以看作X@theta.T

然后即可进行第一次的代价估计

代价为

10.266520491383504

梯度下降函数

def gradientDescent(X, y, theta, alpha, iters):
    temp=np.matrix(np.zeros(theta.shape))
    Parameters=int(theta.ravel().shape[1])
    cost=np.zeros(iters)
    
    for i in range(iters):
        error=X*theta.T-y
        for j in range(Parameters):
            tem=np.multiply(error,X[:,j])
            temp[:,j]=theta[:,j]-(alpha)*np.sum(tem)/len(X)
        theta=temp
        cost[i]=computeCost(X,y,theta)
    return temp,cost 

iters 迭代次数

alpha 学习速率

梯度函数解释：因为目的是找到一组X的系数(权重),使得其的代价最小，这时x就为标量，theta就为变量，函数对theta求导，alpha即为往代价最低点行走的步长，因为代价最低点的导数为零，越靠近该点的导数最小，每次alpha*导数的步长会使theta慢慢的往最低点靠近，当alpha足够小，iters足够大，理论上theta最终的值就为代价最小的值。

alpha=0.01
iters=1500
g,cost=gradientDescent(X,y,theta,alpha,iters)

迭代后得到的theta在g里

用matplotlib展现出所拟合的曲线

x=np.linspace(data.Population.min(),data.Population.max(),100)
f=g[0,0]+g[0,1]*x
fig,ax=plt.subplots(figsize=(12,8))
ax.plot(x,f,'r',label='Prediction')
ax.scatter(data.Population,data.Profit,s=50,label='Training Date')
ax.set_ylabel('Profit')
ax.set_xlabel('Population')
ax.legend(loc=2)
ax.set_title('Predicted Profit vs. Population Size')

 最小代价为4.+

正规方程

既然是找代价最低点，那就可以直接导数为0的方式直接找到不用梯度下降迭代

 代码实现

def normalEqn(X,Y):
    theta=np.linalg.inv(X.T@X)@X.T@y
    return theta

参考文章