假设有5个样本(样本数为n),一阶特征有2个,性别和爱好,其中性别特征有男女2种,爱好有4种,那么二阶特征有8种(2*4),那么训练数据X的维度应该是5*8。
性别独热编码:
- 男: [1, 0]
- 女: [0, 1]
兴趣独热编码:
- 体育: [1, 0, 0, 0]
- 购物: [0, 1, 0, 0]
- 科技: [0, 0, 1, 0]
- 旅游: [0, 0, 0, 1]
权重向量β的维度应该是β = np.zeros(X.shape[1])=8,也就是说权重的维度应该与特征数量相等。
在逻辑回归中,拟合函数是sigmoid函数,sigmoid(β.x) = β1*x1+β2*x2+...+β8*x8,向量长度是5。
接下来,与线性拟合类似,进行参数估计与损失值计算,不同的是线性模型是采用最小二乘估计,而逻辑回归模型是采用最大似然估计,即分类正确的概率最大的情况下,求解参数,似然函数是一个关于参数的函数。
对于这个二分类任务,y的取值只有0和1两种,当σ≥0.5,y_pred=1,否则y_pred=0.
这里补充最大似然估计MLE的计算公式为样本的联合概率函数。
对于离散概率函数来说,就是将每一种事件发生的概率p取幂累乘,其中幂指数是该事件发生时的真实值。
所以该二分类任务中的似然函数如下:
接下来就是通过求导估计参数和计算损失函数,值得一提的是,在线性模型中,损失函数是残差平方和SSE,而逻辑回归模型中这不是一个凸函数,容易陷入局部最优,因此采用对数损失函数。逻辑回归模型中的对数损失函数就是似然函数取对数,累乘变累加,再求平均加负号。因为log内的部分sigmoid是在0-1之间,取对数为负数,因此加负号也是为了使损失函数为正,同时似然函数最大时,损失函数最小。
求解出偏导数,偏导数组成的向量就是梯度向量,就可以进行梯度下降求解β = β - α*dβ。本例中β是一个长度为8的向量。
import numpy as np
# Training data
X = np.array([
[1, 0, 0, 0, 0, 0, 0, 0],
[0, 0, 0, 0, 0, 1, 0, 0],
[0, 0, 1, 0, 0, 0, 0, 0],
[0, 0, 0, 0, 0, 0, 0, 1],
[0, 1, 0, 0, 0, 0, 0, 0]
])
y = np.array([0, 1, 1, 0, 1])
# Initialize weights and bias
w = np.zeros(X.shape[1])
b = 0
# 定义sigmoid函数和损失函数
def sigmoid(z):
return 1 / (1 + np.exp(-z))
def cross_entropy_loss(y_true, y_pred):
return -np.mean(y_true * np.log(y_pred) + (1 - y_true) * np.log(1 - y_pred))
# 定义梯度下降算法
def gradient_descent(X, y, w, b, alpha, num_iterations):
for i in range(num_iterations):
# 前向传播
z = np.dot(X, w) + b
y_pred = sigmoid(z)
# 计算损失
loss = cross_entropy_loss(y, y_pred)
# 反向传播
error = y_pred - y
dW = np.dot(X.T, error) / len(y)
db = np.sum(error) / len(y)
# 更新权重和偏置
w -= alpha * dW
b -= alpha * db
# 每隔一定迭代次数打印损失
if i % 1000 == 0:
print(f"Iteration {i}, Loss: {loss}")
print(w)
return w, b
# 训练模型
alpha = 0.01 # 学习率
num_iterations = 10000 # 迭代次数
w, b = gradient_descent(X, y, w, b, alpha, num_iterations)
# 预测
X_predict = np.array([
[1, 0, 0, 0, 0, 0, 0, 0],
[0, 0, 0, 0, 0, 1, 0, 0],
])
def predict(X, w, b):
z = np.dot(X, w) + b
y_pred = sigmoid(z)
y_pred_class = [1 if i > 0.5 else 0 for i in y_pred]
return y_pred_class
y_pred = predict(X_predict, w, b)
print("Predictions:", y_pred)