- 博客(3)
- 收藏
- 关注
原创 Flink-connector-redis支持设置key的ttl改进
1、概述Flink默认提供了很多开箱即用的连接器,比如与Kafka、RabbitMQ、HDFS、ElasticSearch等对接的连接器。还有一些不那么常用的连接器则由Apache Bahir项目(官网很简陋,见这里)来提供,其中就包含Redis Sink。2、flink-cnnector-redis使用需求1:通过flink实时处理结果保存到redis中,这里可以引入 flink-cnnector-redis的pom依赖实现目前maven源中只提供了下面的这种依赖,通过引入该依赖,可以实现对
2021-01-03 17:08:19 1271
原创 SparkStreaming第二课
1、前期准备掌握上一节SparkStreaming入门知识2、内容概要sparkStreaming的checkpoint机制sparkStreaming的容错机制sparkStreaming整合sparksqlsparkStreaming整合kafkasparkStreaming调优3、课程目标掌握sparkStreaming如何容错掌握sparkStreaming整合kafka掌握sparkStreaming调优4、知识要点1. Checkpoint1.1 Chec
2020-12-03 14:37:29 362
原创 SparkStreaming第一课
前期准备:搭建好hadoop和spark集群掌握SparkCore知识掌握SparkSQL知识准备好IDEA开发环境内容概要本次课是SparkStreaming的第一次课,主要讲解SparkStreaming的运行原理,常用算子的使用。课程目标掌握SparkStreaming运行原理掌握SparkStreaming基本算子使用知识要点1、SparkStreaming简介SparkStreaming是对于Spark核心API的拓展,从而支持对于实时数据流的可拓展,高吞吐量和容
2020-12-01 10:25:29 258
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人