从0开始机器学习--2.ai模型概念+基础（监督vs非监督学习，什么是超参数，交叉验证？）-CSDN博客

本文链接：https://blog.csdn.net/m0_73752612/article/details/142684712

写在前面

这篇文章是该系列基础部分的第二篇，也应该是最后一篇，正如我在上一篇中所提到的，我个人认为机器学习基础分为三部分：python基础（更好的看懂现成的代码，有能力上手实践一番）、机器学习概念基础（便于理解一些博文中的专业术语，针对性的理解代码中某一个点的作用）、数学基础（线性代数：如矩阵运算；运筹于优化：如梯度下降法；概率论与数理统计：如贝叶斯定理）。对于数学基础的部分还是建议大家系统性的扎扎实实地跟随课程学习。

从这一篇开始，我们就正式进入了机器学习的范围中。这一篇文章是一篇统领式的概念介绍，主要的来源是一些对机器学习部分的面经，其中会出现一些概念大家可能初次接触时不知道是什么，不用过度纠结于这些概念，了解即可，我会在后面的笔记中介绍和详细分享这些内容。

在下一篇的内容中就会开始出现代码和实战的部分，敬请期待和继续关注！！！

1.python基础；
2.ai模型概念+基础；
3.数据预处理；
4.机器学习模型--1.聚类；2.降维；3.回归（预测）；4.分类；
5.正则化技术；
6.神经网络模型--1.概念+基础；2.几种常见的神经网络模型；
7.对回归、分类模型的评价方式；
8.简单强化学习概念；
9.几种常见的启发式算法及应用场景；
10.机器学习延申应用-数据分析相关内容--1.A/B Test；2.辛普森悖论；3.蒙特卡洛模拟；
以及其他的与人工智能相关的学习经历，如数据挖掘、计算机视觉-OCR光学字符识别等。

ai 模型概念

参数模型v.s.非参数模型

参数模型：通常假设数据遵循某种特定的分布（如正态分布，或线性回归OLS那些假设（会在第四篇《机器学习模型--回归》中具体介绍）），因此需要对模型的形式进行假设。复杂度相对较低，由于参数数量有限，模型更易于解释和理解。线性回归、逻辑回归、ARIMA模型等。
非参数模型：不依赖于特定的分布假设，更加灵活，适用于数据分布不明确的情况。复杂度较高，可能会随着数据量的增加而增加，更适合捕捉复杂的模式。K均值聚类（会在第四篇《机器学习模型--回归》中具体介绍）、核密度估计、最近邻算法等。

超参数

指在机器学习模型训练之前设定的参数，它们影响模型的学习过程和性能，但在训练过程中不会被模型直接学习。超参数通常需要通过实验来调整和优化。在后续模型介绍的章节中，会具体介绍在各个模型中哪些属于超参数。

调整超参数通常采用以下方法：

1. 网格搜索（Grid Search）：系统地遍历预定义的超参数组合。
2. 随机搜索（Random Search）：在超参数空间中随机选择组合进行测试。
3. 贝叶斯优化（Bayesian Optimization）：利用概率模型高效地探索超参数空间。

交叉验证

帮助评估模型的泛化能力和调整超参数，但不能完全防止过拟合（会在第四篇《机器学习模型--分类》中具体介绍）。

交叉验证（cross-validation）：将数据集分为训练集和测试集（具体函数如何实现会在第四篇《机器学习模型--回归》中具体介绍），训练集用于训练模型，测试集用于评估模型的性能。
K折交叉验证（K-fold cross-validation）：将数据集分为K个子集，每次用K-1个子集训练模型，用剩余的一个子集测试模型。
k个模型取平均值得到最终测试集的大致性能。

梯度下降

更详细的梯度会在《6.1》中详细涉及。

梯度下降是机器学习中用来优化模型的一个算法。它的主要目的是找到模型参数的最佳值，让模型的预测误差最小化。

简单来说，梯度下降就像下山，每一步都朝着误差最小的方向走，直到找到最低点。每次迭代，算法根据误差的大小调整参数，逐渐让模型表现得更好。分别对不同的参数进行优化，而不是一起优化。

批量梯度下降（gradient descent）：每次更新所有样本的梯度，计算代价函数的梯度。但由于每次考虑所有样本，速度很慢。
随机梯度下降（stochastic g d）：每次更新一个样本的梯度，计算代价函数的梯度。迭代速度快，但不一定每次都朝着收敛方向进行。（离群点、噪音点）
小批量梯度下降（mini batch g d）：每次更新一小部分样本的梯度，计算代价函数的梯度。（batch：批，会在第六篇《神经网络模型--基础》中具体介绍）