机器学习入门（3）

一.继续学习线性回归模型：

1.对上一次笔记补充——机器学习常见学习模型：

（1）线性回归模型（Linear Regression）：用于建立变量之间的线性关系。它通过最小化预测值

与实际值之间的差异来拟合数据。

（2）逻辑回归模型（Logistic Regression）：用于处理二分类问题。它使用逻辑函数将输入值映

射到概率输出，并根据概率进行分类。

（3）决策树模型（Decision Tree）：基于树状结构，通过一系列决策节点和叶节点来进行预测。

每个节点表示一个特征，每个边表示一个特征值，通过遍历树来得到预测结果。

（4）随机森林模型（Random Forest）：一种集成学习模型，由多个决策树组成，最终的预测结

果由多个决策树的结果投票决定。

（5）支持向量机模型（Support Vector Machine）：用于分类和回归。它通过在特征空间中找到

一个最优超平面来进行分类，使得不同类别的样本尽可能远离超平面。

（6）K近邻模型（K-Nearest Neighbors）：一种基于实例的学习模型，通过计算样本与训练集中

的其他样本之间的距离来进行分类。最终的预测结果是由K个最近邻样本的标签进行投票决定。

（7）朴素贝叶斯模型（Naive Bayes）：一种基于贝叶斯定理的概率模型，假设特征之间是相互

独立的。通过计算后验概率来进行分类，选择概率最大的类别作为预测结果。

（8）神经网络模型（Neural Network）：一种模拟人脑神经元工作原理的模型。它由多个神经元

和层组成，通过学习权重和偏置来进行预测

其实机器学习解决实际问题（监督学习问题）的大致过程是：用一组数据训练模型，为它提供一种

算法，模型利用该

算法学习这些数据并进行推理。 对模型进行训练后，可以使用它根据之前未见过的数据进行推

理，并对这些数据进行预测。

二.代价函数（成本函数）：

1.定义：

代价函数（Cost Function）在机器学习中是定义在整个训练集上的，是所有样本误差的平均，也

就是损失函数的平均。它用于衡量模型在所有样本上的平均表现。在训练过程中，我们希望最小化

代价函数。

在不同的机器学习算法中对应着不同的代价函数和损失函数，例如线性回归的代价函数是均方误

差，损失函数是平方差；逻辑回归的代价函数是交叉熵，损失函数是负对数似然；神经网络的代价

函数则可以是均方误差、交叉熵等，损失函数则是对应代价函数的梯度。因此，选择适当的代价函

数和损失函数要根据具体的任务和模型来进行。

这里先学线性回归模型的代价函数。

2.线性回归模型的代价函数：

具体来说，对于一个线性回归模型 y = ax + b，其代价函数定义为：

J(a, b) = 1/(2m) * ∑(i=1 to m) [h(x^(i); a, b) - y^(i)]^2

其中，h(x,a, b) = a*x + b 是模型预测的值，y 是实际的目标值，m 是样本数量。

可以看到，代价函数 J(a, b) 是关于模型参数 a 和 b 的函数，它的值越小，说明模型的预测结果越

接近实际数据，也就意味着模型的性能越好。因此，在训练过程中，我们需要最小化代价函数，找

到使得代价函数值最小的参数 a 和 b。