数据分析2——核心思维技巧

学习视频:B站【秦路】七周学会数据分析|良心教程(数据思维/统计学/excel/数据可视化/sql/python)
技巧

1.象限法

象限法案例
这里例举的是APP,区分类别。按照高频和低频作为Y轴,将邻域的综合或者垂直分为X轴。
象限法最简单的就是对数据进行人工的分类:
在这里插入图片描述
(这个图老师的横纵坐标写反了。。。)
上图就可以用来对用户进行分群划分。
下图是一种比较经典的用户划分方式,将用户分为了8个象限:

2fm

总结

象限法的核心:策略驱动,我们划分出来的一定可以直接应用于策略。优点是直观、清晰,对数据进行的是人工的划分。
在这里插入图片描述

2.多维法

示例图
多维法是把数据的多个属性、维度。比如上图,我们将类型分为电子产品、日用品、书籍。从图中我们可以分析出2010年1季度,浙江书籍的销量,这种方法可以很直观的得到各种属性之间的关系。

利用多维法我们可以统计出多种属性,如下图:
在这里插入图片描述
划分出上面这些一个个维度,就可以利用多维法统计出一个大的立方体。这种方法比较适宜于大数据量的数据,数据量越丰富,统计起来更有优势,对于丰富维度的判别。
多维法缺点:
在这里插入图片描述

辛普森悖论

我们看上图,可以看到女生的录取率比男生录取率要高很多,那这可以说明这个学院就"阴盛阳衰"吗?这种说法其实是错误的,这里我们把学院进一步拆分:
在这里插入图片描述
如上图,这里从商学院和法学院分开来看,可以看出男生的录取率其实都比女生高,但是总计的录取率女生就是男生的两倍。这个问题就是多维法常遇到的,我们在分析过程中挑了很多的维度,但这些维度容易造成误差。在本案例中,实际上就是被平均了。这种陷阱在统计学上被称为辛普森悖论

优化方法

如何避免这种问题呢?
在这里插入图片描述

  1. 钻取(Drill-down):这实际上就是对属性的进一步挖掘,每一个拆开来,有点类似于结构化思维。eg:把书籍细分为悬疑类,言情类,文学类等等,把这个书籍维度进一步细挖;刚刚的学院问题,我们把学院分为商学院、法学院,还可以进一步分为班级等,这都是钻取。可以想一下钻井的感觉,不停的深挖。
  2. 上卷(Roll-up)
  3. 切片(Slice)
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
引用\[1\]:在过去的两个月里,Databricks公司举办了一场会议,将数据团队聚集在一起,共召开220多个会议,有无数机会与同行交流——超过50,000名数据科学家、数据工程师、分析师、商业领袖和其他数据专业人士。 Spark + AI 峰会虚拟环境。 引用\[2\]:本书以数据智能为灵魂,以Spark 2.4.X版本为载体,以Spark+ AI商业案例实战和生产环境下几乎所有类的性能调优为核心,对企业生产环境下的Spark+AI商业案例与性能调优抽丝剥茧地进行剖析。全书共分4篇,内核解密篇基于Spark源码,从一个实战案例入手,循序渐进地全面解析Spark 2.4.X版本的新特性及Spark内核源码;商业案例篇选取Spark开发中最具代表性的经典学习案例,在案例中综合介绍Spark的大数据技术;性能调优篇覆盖Spark在生产环境下的所有调优技术; Spark+ AI内幕解密篇讲解深度学习动手实践,通过整合Spark、PyTorch以及TensorFlow揭秘Spark上的深度学习内幕。本书适合所有大数据和人工智能学习者及从业人员使用。对于有丰富大数据和AI应用经验的人员,本书也可以作为大数据和AI高手修炼的参考用书。同时,本书也特别适合作为高等院校的大数据和人工智能教材。 问题:spark数据分析实战——奥运会 回答: Spark是一个强大的大数据处理框架,可以用于数据分析和处理。在奥运会数据分析实战中,Spark可以帮助我们处理大规模的奥运会数据,进行数据清洗、转换和分析。通过使用Spark的分布式计算能力和优化技术,我们可以高效地处理大量的奥运会数据,并从中提取有价值的信息。同时,Spark还提供了丰富的数据处理和机器学习库,可以帮助我们进行数据挖掘和建模,以便更好地理解和预测奥运会的趋势和结果。通过结合Spark和AI技术,我们可以实现更深入的奥运会数据分析,并为奥运会的组织者、运动员和观众提供更好的决策支持和用户体验。 #### 引用[.reference_title] - *1* *2* [免费参加全球最大的Spark+AI峰会(Databricks 2020年6月22-26日)!免费访问峰会主题演讲及分组会议!](https://blog.csdn.net/duan_zhihua/article/details/106729096)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insertT0,239^v3^insert_chatgpt"}} ] [.reference_item] - *3* [热烈祝贺王家林大咖大数据经典传奇著作《Spark大数据商业实战三部曲》 畅销书籍第二版 清华大学出版社发行...](https://blog.csdn.net/duan_zhihua/article/details/106294896)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insertT0,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值