![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Spark
文章平均质量分 71
xlw2003
这个作者很懒,什么都没留下…
展开
-
2022-2023赛季高职大数据竞赛-赛规任务剖析
2022-2023赛季高职大数据竞赛-赛规任务剖析转载 2022-12-07 09:47:47 · 2314 阅读 · 0 评论 -
最新2022年高职大数据国赛任务书详解与模拟练习
最新2022年高职大数据国赛任务书详解与模拟练习原创 2022-04-01 09:18:50 · 1769 阅读 · 0 评论 -
2011-2022年高职大数据竞赛-赛题任务剖析
本系列共分五篇,内容分别为:第一部分 赛题内容 第二部分 任务剖析 第三部分 赛题模拟实现-离线数据抽取 第四部分 赛题模拟实现-离线数据统计 第五部分 赛题模拟实现-数据采集与实时计算 第六部分 赛题模拟实现-数据可视化(一)任务一:大数据平台环境搭建具体内容按照大数据分析平台需求,需要完成Hadoop完全分布式、Spark安装配置、Flink安装配置、Hive安装配置、Kafka安装配置、Flume安装配置。分析Hadoop完全分布式:请参考Hadoop-3.2.1环境搭转载 2022-03-21 10:10:32 · 2859 阅读 · 0 评论 -
《PySpark实用教程_v3.1.2》简介
《PySpark实用教程》(基于Spark3.1.2和Python 3.7)预览版下载:这里下载大数据分析一直是个热门话题,需要大数据分析的场景也越来越多。Apache Spark是一个用于快速、通用、大规模数据处理的开源项目。现在,Apache Spark已经成为一个统一的大数据处理平台,拥有一个快速的统一分析引擎,可用于大数据的批处理、实时流处理、机器学习和图计算。2009年,Spark诞生于伯克利大学AMP实验室,最初属于伯克利大学的研究性项目。它于2010年被正式开源,于2013年被转交给A原创 2022-02-28 12:38:57 · 1901 阅读 · 0 评论 -
电商大数据分析案例(Hadoop+Hive+Spark+Azkaban+Spring MVC+ECharts)
项目描述某著名电商平台双十一美妆销售数据分析。由于是真实的商业数据,所以做了脱敏处理,数据集中对店名的引用被处理为产品的品牌名以保护店家隐私。。通过对该平台双十一美妆销售数据的品牌、销量、热度等特征的分析(平台视角和用户视角),尝试探索以下问题:双十一期间,最受消费者青睐的产品或品牌是哪些? 双十一期间,美妆行业各品类的销售情况? 双十一期间,消费高峰何时出现? 双十一期间,客户的评论数对销量的影响? ......项目架构电商大数据项目架构图项目流程项目流程说明如下:1.转载 2022-01-12 22:22:45 · 4308 阅读 · 1 评论 -
案例_Spark SQL实现数据ETL到Hive ODS
演示如何通过Spark SQL实现ETL任务,将数据分别从文件或MySQL中抽取到Hive数据仓库的ODS层叠 (数据贴源层)中。转载 2021-11-24 10:14:49 · 1315 阅读 · 0 评论 -
《Spark实用教程_v3.1.2》简介
《Spark实用教程》(基于3.1.2)预览版下载:这里下载大数据分析一直是个热门话题,需要大数据分析的场景也越来越多。Apache Spark 是一个用于快速、通用、大规模数据处理的开源项目。现在,Apache Spark 已经成为一个统一的大数据处理平台,拥有一个快速的统一分析引擎,可用于大数据的批处理、实时流处理、机器学习和图计算。2009 年,Spark 诞生于伯克利大学AMP 实验室,最初属于伯克利大学的研究性项目。它于2010 年被正式开源,于2013 年被转交给Apache 软件基金会原创 2021-11-10 17:26:44 · 1259 阅读 · 0 评论