2024年最全数据挖掘(2，2024年最新简直无敌

最新推荐文章于 2024-09-11 10:20:48 发布

2401_84186067

最新推荐文章于 2024-09-11 10:20:48 发布

阅读量1k

点赞数 26

分类专栏：程序员文章标签：大数据面试学习

本文链接：https://blog.csdn.net/2401_84186067/article/details/138834634

版权

程序员专栏收录该内容

112 篇文章 0 订阅

订阅专栏

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

需要这份系统化资料的朋友，可以戳这里获取

1.1平均值和截断均值

1.2加权平均值

1.3中位数（Median）和众数(Mode)

二、数据描述

描述数据的方法,包括描述数据中心趋势的方法如均值、中位数，描述数据的分散程度的方法如方差、标准差,以及数据的其他描述方法如散点图和参数化方法等。

1.描述数据中心趋势

1.1平均值和截断均值

平均值(Mean),又称为均值或算数均值(Arithmeticmean),其计算方式如下:

$\bar{x}=\frac{1}{n}\sum_{i=1}^{n}xi$

例如.对于下列学生成绩列表,其算数均值为73.5分,即平均分是73.5分。可以看出，学生的成绩分布大体在平均值附近。
76,89,76,70,70,84,90,84,83,83

截断均值(Trimmed mean),即不考虑离群值,用其他值计算平均值。
如果其中一个同学因某种原因导致成绩太低，为了处理这种情况，可以使用截断均值。使用截断均值来进行计算，如：去除第一个同学的分数,余下9个同学算出分数平均值这比较符合直观印象。在许多比赛环节中,为了避免评委个人的偏好与偏向对整体评分造成影响,通常使用去掉个最低分,去掉一个最高分,用其他分数计算平均分的手段来进行打分,这就是一种形式的截断均值。

1.2加权平均值

加权算术均值( Weighted arithmetic mean)：不希望将所有的数据等同看待,而是希望让一些数据比另一些数据更有代表性,其计算方式如下:

$\bar{x}=\frac{\sum_{i=1}{n}wixi}{\sum_{i=1}{n}wi}$

如：比赛打分

评委：80，80，80，80，80

观众：30，40，50，60，50，40，30，20，10，40

希望评委的权重是观众的10倍

评委分数之和*10+观众分数之和/评委人数*10+观众人数

1.3中位数（Median）和众数(Mode)

众数、中位数和均值如图所示,对于仅有一个峰值的分布来说,三者之间的关系可以用一个经验公式来描述:

Mean一Mode= 3*(Mean一Median)
该公式并不一定总是成立,但是可以在一定程度上反映三者之间的关系。

2.描述数据的分散程度

希望数据之间相差很大,还是相差较小,这就是数据的分散程度。
衡量数据的分散程度的一个很好的指标是分位数,a分位数是从负无穷到某一点概率密度函数的积分(分布列求和)为a时那一点的值。比较常用的分位数为最小值(可以认为是0分位数)、0.25分位数(Q1)、中位数(0.5分位数，Q2)、0.75分位数(Q3)和最大值(可以认为是1分位数)。

2.1箱线图

通过这些分位数可以定义一些描述数据分散度的指标。范围是最大值与最小值之差，它描述了数据分布在多大的范围中;中间四分位数极差(IQR)是Q3-Q1，它反映了数据中心部分的分散程度;五数概要是上述5个分位数的整体,通常被用在箱线图中,用于形象表示数据的范围。

在箱线图中,有些数据点由于过于脱离整体,通常希望把它们单独表示出来，这些点称为离群点
(Outlier)。通常使用点与最近的中间四分位数的差来判断是否属于离群点，通常使用一一个常数k(经验值为1.5)与中间四分位数极差的成绩来定义这个临界差值。即当数据不属于以下区间时,认为数据为离群点:
[Q1 - k(Q3 - Q1),Q3 +k(Q3 - Q1)]