人工智能与机器学习之实验1：交叉熵损失函数（对数似然损失函数）

一、概要

介绍交叉熵损失函数（对数似然损失函数）的概念，并用酒驾数据集训练对率回归模型，并用召回率、精度、F1值等指标评估其分类性能。

二、概念

在二分类问题中，使用交叉熵损失函数训练对率回归模型时，损失函数可以表示为：

对于一个给定的样本x和其对应的标签 y（y取值为 0 或 1），模型输出的是一个介于 0 到 1 之间的预测概率 p，即 p = P(Y=1 | x; θ)，其中θ表示模型参数。

交叉熵损失函数（也称为对数似然损失函数）的数学表达式如下：

L(y,p)=−[y⋅log（p）+(1−y)⋅log(1−p)]

解释：

• 当实际标签 (y = 1) 时，模型希望 (p) 接近 1，因此损失函数会尽量减小−log（p）；
• 当实际标签 (y = 0) 时，模型希望 (p) 接近 0，因此损失函数会尽量减小 −log(1 - p)。

在整个训练集中，总的交叉熵损失函数是各个样本损失之和除以样本数量：

其中，(N) 是训练集中的样本数量， 是第 (i) 个样本的真实标签，(p_i) 是模型对第 (i) 个样本预测为正类的概率。

三、实验

现在我们有一个酒驾数据集，其中包含了驾驶员的相关特征（如年龄、饮酒量、驾驶时间等）和是否酒驾的结果标签。我们可以利用交叉熵损失函数训练一个对率回归模型（Logistic Regression）来预测驾驶员是否存在酒驾行为。
训练完成后，我们会用测试集评估模型的分类性能，常用的评估指标包括：

1、召回率（Recall）：也称为灵敏度（Sensitivity），表示模型识别出的正例占所有实际正例的比例。

其中，TP（True Positive）为真阳性，FN（False Negative）为假阴性。
2、精度（Precision）：表示模型识别出的正例中有多少确实是正例的比例。

其中，FP（False Positive）为假阳性。
3、F1值（F1 Score）：是召回率和精度的调和平均数，综合反映了这两方面的性能。

通过计算以上指标，我们可以全面评价对率回归模型在酒驾识别任务上的性能好坏。通常情况下，针对此类问题，模型的性能评估还需要结合实际应用场景和业务需求，例如在涉及公共安全的应用场景下，可能更注重高召回率以减少漏报的情况。

四、代码

数据集已上传啦

import numpy as np
import pandas as pd
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler
from sklearn.metrics import precision_score, recall_score, f1_score, log_loss

# 加载数据
df = pd.read_csv('alcohol_dataset.csv')

# 选择特征和标签
X = df[['ALCOHOL', 'TEMP_AMB', 'TEMP_FAC_MAX', 'TEMP_FAC_MIN', 'EYES']].values
y = df['LABEL'].astype(int).values

# 划分训练集和测试集250个数据集，
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=134, random_state=42)

# 特征缩放
scaler = StandardScaler()
X_train_scaled = scaler.fit_transform(X_train)
X_test_scaled = scaler.transform(X_test)


class LogisticRegression:
    def __init__(self, learning_rate=0.01, n_iterations=1000):
        self.learning_rate = learning_rate
        self.n_iterations = n_iterations
        self.weights = np.random.randn(X_train_scaled.shape[1] + 1)  # 包括偏置项

    def add_intercept(self, X):
        return np.hstack([np.ones((X.shape[0], 1)), X])

    def sigmoid(self, z):
        return 1 / (1 + np.exp(-z))

    def predict_proba(self, X):
        X_with_bias = self.add_intercept(X)
        z = np.dot(X_with_bias, self.weights)
        return self.sigmoid(z)

    def predict(self, X, threshold=0.5):
        probas = self.predict_proba(X)
        return (probas >= threshold).astype(int)

    def fit(self, X, y):
        X_with_bias = self.add_intercept(X)

        for _ in range(self.n_iterations):
            z = np.dot(X_with_bias, self.weights)
            predictions = self.sigmoid(z)

            # 计算交叉熵损失
            loss = -np.mean(y * np.log(predictions) + (1 - y) * np.log(1 - predictions))

            # 计算梯度
            gradient = np.dot(X_with_bias.T, (predictions - y)) / y.size

            # 更新权重
            self.weights -= self.learning_rate * gradient

        return loss


# 训练模型
model = LogisticRegression(learning_rate=0.01, n_iterations=1000)
train_loss = model.fit(X_train_scaled, y_train)

# 预测和评估
y_pred = model.predict(X_test_scaled)
precision = precision_score(y_test, y_pred)
recall = recall_score(y_test, y_pred)
f1 = f1_score(y_test, y_pred)
test_loss = log_loss(y_test, model.predict_proba(X_test_scaled))

print(f'训练集上的交叉熵损失: {train_loss:.4f}')
print(f'测试集上的交叉熵损失: {test_loss:.4f}')
print(f'精度: {precision}, 召回率: {recall}, F1值: {f1}')

五、结果与总结