简历可能会问的问题（学习笔记）

最新推荐文章于 2024-07-22 14:10:07 发布

查平平

最新推荐文章于 2024-07-22 14:10:07 发布

阅读量1.4k

点赞数 32

文章标签：学习笔记信息可视化

本文链接：https://blog.csdn.net/zfyzfw/article/details/139260299

版权

一、探索性数据分析

探索性数据分析（Exploratory Data Analysis，简称EDA）是数据分析过程中的一个重要阶段，旨在通过可视化和统计方法探索数据的结构、特征和关系，以获得对数据的直观理解和洞察。

以下是进行探索性数据分析时可能采取的一些步骤和技术：

数据概览：查看数据的基本信息，包括数据类型、缺失值情况、特征数量等。使用info()函数、head()函数等快速查看数据的前几行。
描述性统计：计算数据的统计指标，如均值、中位数、标准差等，以了解数据的分布情况。使用describe()函数可以一次性获得多个统计量。
数据可视化：绘制各种图表来展现数据的分布、关系和趋势。常用的可视化工具包括散点图、直方图、箱线图、热力图等。使用Python中的matplotlib、seaborn等库进行可视化操作。
特征分布：观察各个特征的分布情况，包括连续型特征和离散型特征。对于连续型特征，可以绘制直方图或密度图；对于离散型特征，可以绘制柱状图。
特征相关性：分析各个特征之间的相关性，可以通过绘制相关系数矩阵、热力图等方式来展现特征之间的相关关系。
异常值检测：识别并处理数据中的异常值，使用箱线图、散点图等方法来识别异常值，并根据业务逻辑或统计方法进行处理。
缺失值处理：分析数据中的缺失值情况，选择合适的方法来处理缺失值，如删除缺失值、填充缺失值等。
特征工程：根据数据的特点和业务需求，进行特征的构建、转换和选择，以提高模型的性能。

通过以上步骤，可以更好地理解数据集的特征、结构和规律，为后续的建模和分析工作提供基础。

ANOVA（Analysis of Variance，方差分析）是一种统计方法，用于比较两个或多个组之间的平均值是否存在显著差异。ANOVA的基本思想是将总体方差分解为组间（Treatment）方差和组内（Error）方差，然后通过比较这两个方差来判断组之间是否存在显著差异。

ANOVA适用于以下场景：

ANOVA有几种不同的类型，包括单因素（One-Way ANOVA）、双因素（Two-Way ANOVA）等。其中，单因素ANOVA用于比较一个因素（自变量）对一个因变量的影响，双因素ANOVA用于比较两个因素对因变量的影响。

ANOVA的步骤包括：

如果ANOVA的结果显示组间存在显著差异，接下来通常会进行进一步的事后比较（Post-hoc Comparisons），以确定具体哪些组之间存在差异。常用的事后比较方法包括Tukey's HSD（Honestly Significant Difference）、Bonferroni校正等。

XGBoost，全称为eXtreme Gradient Boosting，是一种梯度提升树（Gradient Boosting Tree）算法的改进版本。它由陈天奇在2014年提出，是一种高效、灵活、可扩展的机器学习算法，被广泛应用于数据挖掘和预测建模任务中。

XGBoost的主要特点包括：

优化的梯度提升算法：XGBoost通过改进目标函数和正则化项，提高了梯度提升树算法的性能。它在每一轮迭代中都会计算模型的梯度，并利用树模型的特殊结构来近似最优解，从而加速模型训练过程。
支持并行化处理：XGBoost支持并行化处理，可以利用多核CPU进行计算，提高了模型训练的效率。此外，XGBoost还支持在分布式计算环境下运行，如Hadoop、Spark等。
灵活的正则化策略：XGBoost引入了L1和L2正则化项，以控制模型的复杂度，防止过拟合。通过控制正则化参数，用户可以灵活地调整模型的复杂度和泛化能力。
特征重要性评估：XGBoost可以计算每个特征对模型的重要性，帮助用户识别关键特征。这些特征重要性分数可以用于特征选择和解释模型的预测结果。
内置的交叉验证功能：XGBoost内置了交叉验证功能，可以帮助用户选择最佳的模型参数，提高模型的泛化能力。

XGBoost已成为数据科学竞赛和实际应用中的常用工具，其性能优异、易于使用和可扩展性等优点使其受到了广泛关注和应用。

随机森林（Random Forest）是一种集成学习方法，它通过构建多个决策树（Decision Tree）并将它们结合起来进行预测。随机森林在每个决策树的训练过程中，都会随机选择一部分样本和特征进行训练，从而降低了模型的方差，提高了泛化能力。

随机森林的主要特点包括：

Bagging策略：随机森林采用自助采样法（Bootstrap Aggregating，Bagging）来构建多个决策树。在每个决策树的训练过程中，随机抽取一部分样本进行训练，从而使得每个决策树的训练数据都不完全相同。
随机特征选择：除了对样本进行随机抽样外，随机森林还对特征进行随机选择。在每个节点划分时，随机森林从所有特征中选择一部分特征进行划分，这样可以增加决策树之间的差异性，提高模型的多样性。
决策树的平均：随机森林中的每个决策树都是一个弱学习器，它们的预测结果通过投票或平均的方式进行集成，从而得到最终的预测结果。
高效的并行化处理：由于每个决策树都是独立训练的，随机森林可以很容易地并行化处理，利用多核CPU或分布式计算资源进行训练。
抗过拟合能力：随机森林通过集成多个决策树，降低了模型的方差，从而提高了模型的泛化能力和抗过拟合能力。