机器学习实现线性回归

机器学习之实现线性回归

1.介绍数据集

本文中我使用的是西瓜数据集3.0a

在拿到数据集后，预处理是：
这个数据集的格式是gbk格式的，所以先手动将该数据集改为utf-8，这样在后面的处理中不容易报错。发现在第四列好瓜这一列全部是汉字，汉字只是我们的语言，计算机看不懂，所以我们需要将其转化为计算机看的懂的，是变为1，否变为0。

1.读取数据及数据预处理
首先将属性矩阵和标记矩阵分开存储，同时在属性矩阵最后增加一列全为1的数，并将其放入label里面存储。

#读入西瓜数据集并且预处理
def loadDatatest(filename):
    datatest = []
    labletest = []
    with open(filename,'r',encoding = 'utf-8')as csv_file:
        csv_reader = csv.reader(csv_file)
        header = next(csv_reader)
        for row in csv_reader:
            if row[3] == '是':
                labletest.append(1)
            elif row[3] =='否':
                labletest.append(0)
            row[3] = 1
            datatest.append(row)
        data=[[float(x) for x in row]for row in dataset]
        return datatest,labletest

首先定义datatest和labletest来存储数据，将labletest中为是的加1，为否的加0，之后将该列全部替换为1.

2.对数几率函数–sigmoid函数

#对数几率函数 sigmoid()
def sigmoid(z):
    return 1.0 / (1+np.exp(-z)) 

在这里为什么使用sigmoid函数而不是阶跃函数，原因是阶跃函数不连续，不能直接使用，所以希望找一个近似单位阶跃函数的“替代函数”，并希望他单调可微，所以采用了sigmoid函数。

3.迭代求w函数——train

其中n为步长，最终我们得到的w是一个数组，每一个元素表示的是该属性前面的系数w，为了控制迭代次数，我们将”准确率高于90%“作为终止的条件；

#training
def train(datatest,labletest):
    data=np.mat(dataset).astype(float)#将数据集中的数据读取出来形成矩阵形式
    label=np.mat(labelset).transpose()#同上
    w = np.ones((len(dataset[0]),1))#np.ones()创建一个m行n列的多维数组
    
    #步长 = 0.0001
    n = 0.0001
    # 每次迭代计算一次正确率（在测试集上的正确率）
    # 达到0.90的正确率，停止迭代
    rightrate = 0.0#正确率
    while rightrate<0.90 :
        c=sigmoid(np.dot(data,w))
        b=c-label
        change = np.dot(np.transpose(data),b)
        w=w-change*n
        #预测，更新准确率
        rightrate = test(dataset,labelset,w)

    return w

4.计算准确率函数——test

判断y是否大于或小于0.5，得到预测值；并与实际标记值是否相等，若相等则判断正确的个数+1，最终返回准确率。

#test
def test(dataset,labelset,w):
    data=np.mat(dataset).astype(float)

    y=sigmoid(np.dot(data,w))
    b,c=np.shape(y)#功能是查看矩阵或者数组的维数。
    rightcount=0

    for i in range(b):
        flag=-1
        if y[i,0]>0.5:
            flag=1
        elif y[i,0]<0.5:
            flag=0
        if labelset[i] == flag:
            rightcount+=1

    rightrate=rightcount/len(dataset)
    return rightrate

5.主函数

dataset=[]
labelset=[]
filename =r'C:\Users\dahula\Desktop\watermelon_3a.csv'
dataset,labelset=loadDatatest(filename)
w=train(dataset,labelset)
print("若使得准确率大于90%，则此时的w为：\n",w)
print("正确率：%f"%(test(dataset,labelset,w)*100)+"%")