逻辑回归算法实现

目录

1.关于逻辑回归的原理解析和准备工作

2.关于激活函数

3.关于数据集

4.编写LogisticsRegression类

5.逻辑回归测试

6.结果

---

1.关于逻辑回归的原理解析和准备工作

逻辑回归原理相关内容，请参考博主的另一篇文章：机器学习（二）逻辑回归。在本文中的逻辑回归算法实现，不调用sklearn中的相关API，通过纯手写的方式，帮助学习理解逻辑回归的过程。

2.关于激活函数

本文采用Sigmoid函数作为激活函数（也叫逻辑斯谛函数），sigmoid的函数的公式如下：

sigmoid函数可以用于处理二分类问题，其函数图像如下：

import matplotlib.pyplot as plt
import numpy as np


class Sigmoid:
    @staticmethod    
    def sigmoid(matrix):
        return 1 / (1 + np.exp(-matrix))


if __name__ == "__main__":
    x = np.linspace(-10, 10, 100)    
    y = Sigmoid.sigmoid(x)    
    plt.plot(x, y, "b.", label="sigmoid")    
    plt.xlabel("x")    
    plt.ylabel("y")    
    plt.legend()    
    plt.grid()    
    plt.show()

3.关于数据集

本文采用sklearn中自带数据集iris，iris数据集数据分布状态如下：

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
from sklearn.datasets import load_iris

# 载入数据
iris = load_iris()
data = pd.DataFrame(data=iris.data, columns=iris.feature_names)
data["class"] = iris.target_names[iris["target"]]
x_axis = "petal length (cm)"
y_axis = "petal width (cm)"
for iris_type in iris.target_names:
    plt.scatter(data[x_axis][data["class"] == iris_type],           
                data[y_axis][data["class"] == iris_type],                
                label=iris_type)
plt.show()

4.编写LogisticsRegression类

import numpy as np
from scipy.optimize import minimize
from utils.features import pre_for_training
from utils.hypothesis.sigmoid import Sigmoid


class LogisticRegression:
    def __init__(self,
                     data,                 
                     labels,                 
                     polynomial_degree=0,                 
                     sinusoid_degree=0,                 
                     normalize_data=True):
        """               
        对数据预处理，获取所有特征个数，初始