Logistic Regression Classifier逻辑回归主要思想就是用最大似然概率方法构建出方程,为最大化方程,利用牛顿梯度上升求解方程参数。
优点:计算代价不高,易于理解和实现。
缺点:容易欠拟合,分类精度可能不高。
使用数据类型:数值型和标称型数据。
好了,下面开始正文。
算法的思路我就不说了,我就提供一个万能模板,适用于任何纬度数据集。
虽然代码类似于梯度下降,但他是个分类算法
定义sigmoid函数
def sigmoid(x):
return 1/(1+np.exp(-x))
进行逻辑回归的参数设置以及迭代
def weights(x,y,alpha,thershold):
#初始化参数
m,n = x_train.shape
theta = np.random.rand(n) #参数
cnt = 0 # 迭代次数
max_iter = 50000
#开始迭代
while cnt < max_iter:
cnt += 1
diff = np.full(n,0)
for i in range(m):
diff = (y[i]-sigmoid(theta.T @ x[i]))*x[i]
theta = theta + alpha * diff
if(abs(diff)
break
return theta
预测函数
def predi