![](https://img-blog.csdnimg.cn/20190927151026427.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
大数据
文章平均质量分 54
大数据
瑞瑞ruirui
这个作者很懒,什么都没留下…
展开
-
学习笔记:Spark 读取和写入Phoenix数据
Phoenix 是使用 Java 编写的一个开源项目,基于在 HBase 之上的一个 SQL 层,能让我们通过标准的 JDBC API 读写 HBase,而不用 scan 或者 get 的方式,其实底层是将 SQL 编译成原生的 HBase scans 进行查询。引入依赖: <dependency> <groupId>org.apache.phoenix</groupId> <artifactId&g原创 2021-12-09 16:14:44 · 2592 阅读 · 0 评论 -
学习笔记:Spark WordCount
引入依赖: <dependencies> <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-core_2.12</artifactId> <version>3.0.0</version> </dependency&原创 2021-12-02 13:26:42 · 189 阅读 · 0 评论 -
学习笔记:Flink 读取和写入Kafka数据
引入依赖: <!-- 阿里巴巴开发的 JSON 库 --> <dependency> <groupId>com.alibaba</groupId> <artifactId>fastjson</artifactId> <version>1.2.47</version> </dependenc原创 2021-08-31 09:36:53 · 2586 阅读 · 0 评论 -
学习笔记:Flink 读取和写入MySQL数据
实际开发中,经常会实时接收一些数据,要和MySQL中存储的一些规则进行匹配,那么这时候就可以使用 Flink 自定义数据源从MySQL原创 2021-07-12 16:01:02 · 10664 阅读 · 5 评论 -
学习笔记:Flink Window API
Window 概述streaming 流式计算是一种被设计用于处理无限数据集的数据处理引擎,而无限数据集是指一种不断增长的本质上无限的数据集,而 window 是一种切割无限数据为有限块进行处理的手段。Window 是无限数据流处理的核心,Window 将一个无限的 stream 拆分成有限大小的”buckets”桶,我们可以在这些桶上做计算操作。TimeWindowCountWindow...原创 2021-05-22 15:38:44 · 165 阅读 · 0 评论 -
学习笔记:Flink DataStream API
Environment:创建执行环境// getExecutionEnvironment:创建本地或集群执行环境,默认并行度// 如果程序是独立调用的,返回本地执行环境ExecutionEnvironment env = ExecutionEnvironment.getExecutionEnvironment();// 如果从命令行客户端调用程序以提交到集群,返回此集群的执行环境StreamExecutionEnvironment env = StreamExecutionEnvironment原创 2021-05-22 15:37:46 · 300 阅读 · 0 评论 -
学习笔记:Flink 理论知识
Flink 简介Apache Flink 是一个框架和分布式处理引擎,用于在无边界和有边界数据流上进行有状态的计算。Flink 能在所有常见集群环境中运行,并能以内存速度和任意规模进行计算。Flink 主要特点:事件驱动(Event-driven)事件驱动型应用是一类具有状态的应用,它从一个或多个事件流提取数据,并根据到来的事件触发计算、状态更新或其他外部动作。基于流(stream)的世界观在 Flink 的世界观中,一切都是由流组成的,离线数据是有界限的流,实时数据是一个没有界限的流,这原创 2021-06-04 15:10:45 · 351 阅读 · 0 评论 -
学习笔记:Flink WordCount
批处理WordCount构建Maven项目:引入依赖: <dependencies> <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-java</artifactId> <version>1.10.1</version>原创 2021-05-15 19:36:19 · 151 阅读 · 0 评论