- 博客(15)
- 收藏
- 关注
原创 Flink Stanalon HA
Standalone集群构建基础环境准备物理资源:CentOSA/B/C-6.10 64bit 内存2GB主机名IPCentOSA192.168.221.136CentOSB192.168.221.137CentOSC192.168.221.138[外链图片转存失败(img-l9lPb4wS-1566826494200)(assets/156...
2019-09-15 18:50:28 187
原创 用Flink对Operator State 状态的代码进行hdfs的CheckpointedFunction恢复
依赖 <dependencies> <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-core</artifactId> <version>...
2019-09-01 17:00:37 310
原创 用Flink对keyed state 状态的代码进行设置TTL(过期时间)和hdfs的checkpoints恢复和配置Flink-conf.yaml
依赖 <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-core</artifactId> <version>1.8.1</version>...
2019-09-01 16:47:23 2480
原创 用Flink将kafka的数据存到redis中
依赖<dependency> <groupId>org.apache.bahir</groupId> <artifactId>flink-connector-redis_2.11</artifactId> <version>1.0</version></dependency>代码/...
2019-08-27 20:08:15 1187
原创 用Flink将kafka的数据存到kafka中
依赖<dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-connector-kafka_2.11</artifactId> <version>1.8.1</version></dependency&g...
2019-08-27 20:06:15 570
原创 Flink搭建和测试
环境搭建Flink 安装部署前提条件HDFS正常启动 (SSH免密码认证)JDK1.8+上传并解压flink[root@CentOS ~]# tar -zxf flink-1.8.1-bin-scala_2.11.tgz -C /usr/配置flink-conf.yaml配置文件[root@CentOS ~]# cd /usr/flink-1.8.1/[root@...
2019-08-26 21:41:56 347
原创 Spark Stanalone HA集群搭建
Standalone集群构建基础环境准备物理资源:CentOSA/B/C-6.10 64bit 内存2GB主机名IPCentOSA192.168.221.136CentOSB192.168.221.137CentOSC192.168.221.138[外链图片转存失败(img-l9lPb4wS-1566826494200)(assets/156...
2019-08-26 21:36:41 465
原创 用structuredStreaming将kafka数据存到kafka中 (jar包形式运行)
依赖 <dependencies> <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-core_2.11</artifactId> <versio...
2019-08-25 14:35:47 575
原创 用spark将kafka的数据存到kafka中(方案二)
依赖 <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-core_2.11</artifactId> <version>2.4.3</version> ...
2019-08-20 19:12:14 175
原创 用spark将kafka的数据存到kafka里(方案一)
依赖 <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-core_2.11</artifactId> <version>2.4.3</version> ...
2019-08-20 19:10:21 658
原创 用mapreduce将hdfs的数据存到mysql中(虚拟机的mysql)
依赖 <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-client</artifactId> <version>2.9.2</versio...
2019-08-18 17:25:47 481 1
原创 用mapreduce将hdfs的数据存入到hbase中
依赖 <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-hdfs</artifactId> <version>2.6.0</version> ...
2019-08-18 10:16:49 308
原创 用spark将hdfs数据存到hbase中
第一步依赖 <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-core_2.11</artifactId> <version>2.4.3</version>...
2019-08-16 20:00:18 371
原创 用spark Streamming 将kafka的数据 展示到控制台
第一步依赖<dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-streaming-kafka-0-10_2.11</artifactId> <version>2.4.3</version></dep...
2019-08-16 19:56:53 677
原创 用spark Streamming 将mysql的数据 展示到控制台
第一步依赖<dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-streaming-kafka-0-10_2.11</artifactId> <version>2.4.3</version></dep...
2019-08-16 19:50:23 164
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人