自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

原创 《Flink实用教程_Flink 1.13.2》简介

《Flink实用教程》.pdf,基于Flink 1.13.2,所有示例和案例均提供Java和Scala两个版本的实现。预览版下载:这里下载

2021-11-10 17:23:48 921

原创 最新2022年高职大数据国赛任务书详解与模拟练习

最新2022年高职大数据国赛任务书详解与模拟练习

2022-04-01 09:18:50 400

转载 2011-2022年高职大数据竞赛-赛题任务剖析

本系列共分五篇,内容分别为:第一部分 赛题内容 第二部分 任务剖析 第三部分 赛题模拟实现-离线数据抽取 第四部分 赛题模拟实现-离线数据统计 第五部分 赛题模拟实现-数据采集与实时计算 第六部分 赛题模拟实现-数据可视化(一)任务一:大数据平台环境搭建具体内容按照大数据分析平台需求,需要完成Hadoop完全分布式、Spark安装配置、Flink安装配置、Hive安装配置、Kafka安装配置、Flume安装配置。分析Hadoop完全分布式:请参考Hadoop-3.2.1环境搭

2022-03-21 10:10:32 690

转载 2011-2022年高职大数据竞赛-赛题内容

本系列共分五篇,内容分别为:第一部分 赛题内容 第二部分 任务剖析 第三部分 赛题模拟实现-离线数据抽取 第四部分 赛题模拟实现-离线数据统计 第五部分 赛题模拟实现-数据采集与实时计算 第六部分 赛题模拟实现-数据可视化第一部分 竞赛内容赛项以大数据技术与应用为核心内容和工作基础,重点考查参赛选手基于Spark、Flink平台环境下,充分利用Spark Core、Spark SQL、Flume、Kafka、Flink等技术的特点,综合软件开发相关技术,解决实际问题的能力,具体包括:

2022-03-21 10:07:27 477

原创 《PySpark实用教程_v3.1.2》简介

《PySpark实用教程》(基于Spark3.1.2和Python 3.7)预览版下载:这里下载大数据分析一直是个热门话题,需要大数据分析的场景也越来越多。Apache Spark是一个用于快速、通用、大规模数据处理的开源项目。现在,Apache Spark已经成为一个统一的大数据处理平台,拥有一个快速的统一分析引擎,可用于大数据的批处理、实时流处理、机器学习和图计算。2009年,Spark诞生于伯克利大学AMP实验室,最初属于伯克利大学的研究性项目。它于2010年被正式开源,于2013年被转交给A

2022-02-28 12:38:57 1685

转载 电商大数据分析案例(Hadoop+Hive+Spark+Azkaban+Spring MVC+ECharts)

项目描述某著名电商平台双十一美妆销售数据分析。由于是真实的商业数据,所以做了脱敏处理,数据集中对店名的引用被处理为产品的品牌名以保护店家隐私。。通过对该平台双十一美妆销售数据的品牌、销量、热度等特征的分析(平台视角和用户视角),尝试探索以下问题:双十一期间,最受消费者青睐的产品或品牌是哪些? 双十一期间,美妆行业各品类的销售情况? 双十一期间,消费高峰何时出现? 双十一期间,客户的评论数对销量的影响? ......项目架构电商大数据项目架构图项目流程项目流程说明如下:1.

2022-01-12 22:22:45 1015

转载 某物流公司运输车辆超速实时检测案例(数据源 + Kafka + Flink + Spring MVC + WebSocket + ECharts)

综合运用Flink实时数据处理技术,对Kafka收集到的运输车辆实时监控数据进行分析,运用模式检测及时发现超速车辆,并在服务端通过仪表盘实时告警。

2021-11-24 10:17:38 202

转载 案例_Spark SQL实现数据ETL到Hive ODS

演示如何通过Spark SQL实现ETL任务,将数据分别从文件或MySQL中抽取到Hive数据仓库的ODS层叠 (数据贴源层)中。

2021-11-24 10:14:49 535

原创 Hive shell 中夹杂大量的日志信息问题的解决方法

在hive-3.1.x版本中,使用hive shell时,会发现在查询命令中夹杂大量的日志信息,严重干扰查询结果显示,特别是强迫症患者,不能忍受。通过修改conf下的日志文件,会发现不起任何作用。那么,怎么解决这个问题呢?搜遍全网,终于在这篇博文里找到了解决方法,参考解决方法,亲测有效。...

2021-11-15 10:38:31 2293 3

原创 《Spark实用教程_v3.1.2》简介

《Spark实用教程》(基于3.1.2)预览版下载:这里下载大数据分析一直是个热门话题,需要大数据分析的场景也越来越多。Apache Spark 是一个用于快速、通用、大规模数据处理的开源项目。现在,Apache Spark 已经成为一个统一的大数据处理平台,拥有一个快速的统一分析引擎,可用于大数据的批处理、实时流处理、机器学习和图计算。2009 年,Spark 诞生于伯克利大学AMP 实验室,最初属于伯克利大学的研究性项目。它于2010 年被正式开源,于2013 年被转交给Apache 软件基金会

2021-11-10 17:26:44 1116

原创 准备Flink开发环境-使用IntelliJ IDEA+Maven开发Flink项目

摘自拙作《Flink实用教程_1.13.2》一书。对于熟悉Maven操作的读者来说,可以象上一节讲的那样,先在命令行用Maven命令快速生成Flink基本程序框架,然后导入到IDE中进一步开发。如果读者更熟悉IDE(例如,IntelliJ IDEA)的话,那么可以直接在IntelliJ IDEA中开发Maven程序。通过结合使用IntelliJ IDEA集成开发工具和Maven项目构建工具,我们可以方便快速地开发Flink项目。一、在IntelliJ IDEA中创建Flink项目第一步:启动.

2021-10-29 09:50:39 363

原创 Flink架构和执行原理

摘自拙作《Flink实用教程_1.13.2》一书。在大数据领域,有许多流计算框架,但是通常很难兼顾延迟性和吞吐量。Apache Storm提供低延迟,但目前不提供高吞吐量,也不支持在发生故障时正确处理状态。Apache Spark Streaming的微批处理方法实现了高吞吐量的容错性,但是难以实现真正的低延时和实时处理,并且表达能力方面也不是特别丰富。而Apache Flink兼顾了低延迟和高吞吐量,是企业部署流计算时的首选。1、Flink架构Flink 是可以运行在多种不同的环境中的,例.

2021-10-29 09:44:11 1510

原创 深入理解Flink中的TumblingWindow

在了解TumblingWindow之前,首先让我们对当涉及到流处理或流计算时的“窗口”有一个基本的了解。在数据流中,有一个持续生成数据的源,这使得计算最终值变得不可行。“窗口”定义了无界流上的有限元素集,我们可以在其上应用计算。这个集合可以基于时间、元素计数、计数和时间的组合,或者一些自定义逻辑来为窗口分配元素。例如:每分钟收到的订单数量(固定时间) 完成最后100个订单的平均时间(固定元素)流框架厂商实现了一个多种类型的“窗口”定义。Flink有三种类型翻滚窗口(又称为”滚动窗口“) 滑

2021-10-29 09:37:56 187

提示
确定要删除当前文章?
取消 删除