机器学习随记（1）

损失函数（Loss Function ）是定义在单个样本上的，算的是一个样本的误差。
代价函数（Cost Function ）是定义在整个训练集上的，是所有样本误差的平均，也就是损失函数的平均。
目标函数（Object Function）定义为：最终需要优化的函数。等于经验风险+结构风险（也就是代价函数 + 正则化项）。代价函数最小化，降低经验风险，正则化项最小化降低

Loss 是单个示例与其目标值的差异的度量，而 Cost 是训练集上损失的度量

逻辑损失函数： 

逻辑回归假设数据服从伯努利分布，通过极大似然函数的方法，运用梯度下降来求解参数，来达到将数据二分类的目的。

 

 

 

 逻辑回归成本函数：

其中，

逻辑回归拟合模型

from sklearn.linear_model import LogisticRegression
import numpy as np

X = np.array([[0.5, 1.5], [1,1], [1.5, 0.5], [3, 0.5], [2, 2], [1, 2.5]])
y = np.array([0, 0, 0, 1, 1, 1])

lr_model = LogisticRegression()
lr_model.fit(X, y)

模型预测

y_pred = lr_model.predict(X)

print("Prediction on training set:", y_pred)

评分函数计算模型精度 

print("Accuracy on training set:", lr_model.score(X, y))

过拟合、欠拟合、正则化

• 成本函数在线性回归和逻辑回归之间存在显着差异，但在方程中添加正则化是相同的。
• 线性回归和逻辑回归的梯度函数非常相似。它们的区别仅在于执行 𝑓𝑤𝑏

正则化线性回归的成本函数

 正则化逻辑回归的成本函数