lu_rong_qq的博客

BERT（Bidirectional Encoder Representations from Transformers）是一种用于自然语言处理（NLP）的深度学习模型，由谷歌于 2018 年提出，是一个深刻改变 NLP 领域的里程碑模型，通过其双向上下文表示和预训练-微调的策略，在文本理解任务中取得了显著成果。

本文将从算法原理、适用范围、强项、知名大模型的应用、python 调用几个方面，对深度学习框架 TensorFlow、PyTorch 和基于深度学习的模型 Transformer 进行比较。主要作用是基础概念扫盲。

决策树 (decision tree) 是机器学习中一类常见的监督学习算法，可用于分类和回归任务。决策树通过递归地对数据集进行分裂，最终形成一系列规则。这些规则根据输入数据的特征，将其分类到特定类别或预测值。

K近邻（KNN）是一种常见的监督学习算法，主要用于分类和回归问题。在前文《L4 垃圾邮件数据集分类延申 - NB/KNN/SVC/随机森林》中，已经有涉及到适用 KNN 进行自然语言的分类处理。在本文中，将详细介绍 KNN 的模型原理、使用方法等，并且分为分类与回归分别选取数据集进行模型训练。

​基于前文（《【机器学习】Lesson 4 - 朴素贝叶斯（NB）文本分类》）对于垃圾邮件数据集的分类处理，增加 K邻居分类器（KNN）/支持向量机（SVC）/随机森林 算法模型，并通过生成准确性报告和绘制混淆矩阵，对不同模型的性能进行比较。同时丰富数据预处理部分，增加词云展现等，完整代码及跑通效果见文档绑定资源。

朴素贝叶斯（Naive Bayes）是一种基于贝叶斯定理（即条件概率）的简单高效的分类算法，广泛应用于文本分类和其他监督学习任务。朴素贝叶斯算法假设特征之间相互独立，这一假设使得算法运算简洁，适合处理高维度数据。

逻辑回归（Logistic Regression）是一种用于分类问题的统计模型，尽管名字里有“回归”，但它主要用于解决二元分类（binary classification）或多类分类问题。与线性回归不同，逻辑回归输出的是一个概率，通过设置阈值将概率转换为类别。

回归（Regression）是一种用于 预测连续目标变量 的统计技术。其核心思想是根据已知的输入特征，构建一个模型来预测一个数值输出。回归既是一类算法，也可以视为一种模型，它通过学习数据中自变量（特征）和因变量（目标）之间的关系，来实现预测或推断。在机器学习中，回归模型不仅用于简单的预测任务，还广泛应用于优化、控制和金融等领域。本文中将使用 加州房价数据集作为例子进行分析处理。

本文将完善前文代码，在使用 sklearn 的部分工具包基础上，增加部分数据预处理、数据分析和数据可视化。由于鸢尾花数据集适用于进行分类和聚类的练习，这里使用多种分类和聚类方式，并验证其准确性。同时在概念部分对分类和聚类的种类、库、用法等进行补充介绍。并在文首附上跑通资源，便于直接查看处理结果。

本文将展开解释回归、分类、聚类和降维的区别，并使用 Scikit-learn 中的自带数据集来说明各自的用途以及它们所达到的效果，可以帮助我们更直观地理解这几类机器学习任务。

Scikit-learn（简称sklearn）是Python中一个强大且广泛使用的机器学习库，基于其他常用的科学计算库，如NumPy、SciPy和matplotlib。它封装了一系列数据预处理、机器学习算法、模型选择等工具，提供了简单易用的接口，支持包括分类、回归、降维和聚类四大机器学习算法，还包括了特征提取、数据处理和模型评估三大模块。

ai 小白自学过程中碰到的概念问题，包括（但不限于，碰到新的会回来更新）：数据挖掘/机器学习/深度学习；AI/AIGC；各种神经网络