水哥哥的
码龄6年
关注
提问 私信
  • 博客：9,309
    9,309
    总访问量
  • 15
    原创
  • 583,788
    排名
  • 921
    粉丝
  • 0
    铁粉
IP属地以运营商信息为准，境内显示到省（区、市），境外显示到国家（地区）
IP 属地：天津市
  • 加入CSDN时间： 2019-03-07
博客简介：

fasdfafsd的博客

查看详细资料
个人成就
  • 获得1次点赞
  • 内容获得1次评论
  • 获得14次收藏
创作历程
  • 15篇
    2019年
成就勋章
兴趣领域 设置
  • 大数据
    hadoophivestormsparketl
创作活动更多

超级创作者激励计划

万元现金补贴，高额收益分成，专属VIP内容创作者流量扶持，等你加入！

去参加
  • 最近
  • 文章
  • 代码仓
  • 资源
  • 问答
  • 帖子
  • 视频
  • 课程
  • 关注/订阅/互动
  • 收藏
搜TA的内容
搜索 取消

Flink Stanalon HA

Standalone集群构建基础环境准备物理资源：CentOSA/B/C-6.10 64bit 内存2GB主机名IPCentOSA192.168.221.136CentOSB192.168.221.137CentOSC192.168.221.138[外链图片转存失败(img-l9lPb4wS-1566826494200)(assets/156...
原创
发布博客 2019.09.15 ·
206 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

用Flink对Operator State 状态的代码进行hdfs的CheckpointedFunction恢复

依赖 <dependencies> <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-core</artifactId> <version>...
原创
发布博客 2019.09.01 ·
330 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

用Flink对keyed state 状态的代码进行设置TTL(过期时间)和hdfs的checkpoints恢复和配置Flink-conf.yaml

依赖 <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-core</artifactId> <version>1.8.1</version>...
原创
发布博客 2019.09.01 ·
2512 阅读 ·
1 点赞 ·
0 评论 ·
4 收藏

用Flink将kafka的数据存到redis中

依赖<dependency> <groupId>org.apache.bahir</groupId> <artifactId>flink-connector-redis_2.11</artifactId> <version>1.0</version></dependency>代码/...
原创
发布博客 2019.08.27 ·
1219 阅读 ·
0 点赞 ·
0 评论 ·
3 收藏

用Flink将kafka的数据存到kafka中

依赖<dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-connector-kafka_2.11</artifactId> <version>1.8.1</version></dependency&g...
原创
发布博客 2019.08.27 ·
591 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

Flink搭建和测试

环境搭建Flink 安装部署前提条件HDFS正常启动 (SSH免密码认证)JDK1.8+上传并解压flink[root@CentOS ~]# tar -zxf flink-1.8.1-bin-scala_2.11.tgz -C /usr/配置flink-conf.yaml配置文件[root@CentOS ~]# cd /usr/flink-1.8.1/[root@...
原创
发布博客 2019.08.26 ·
372 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

Spark Stanalone HA集群搭建

Standalone集群构建基础环境准备物理资源：CentOSA/B/C-6.10 64bit 内存2GB主机名IPCentOSA192.168.221.136CentOSB192.168.221.137CentOSC192.168.221.138[外链图片转存失败(img-l9lPb4wS-1566826494200)(assets/156...
原创
发布博客 2019.08.26 ·
479 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

用structuredStreaming将kafka数据存到kafka中 （jar包形式运行）

依赖 <dependencies> <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-core_2.11</artifactId> <versio...
原创
发布博客 2019.08.25 ·
595 阅读 ·
0 点赞 ·
0 评论 ·
1 收藏

用spark将kafka的数据存到kafka中（方案二）

依赖 <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-core_2.11</artifactId> <version>2.4.3</version> ...
原创
发布博客 2019.08.20 ·
198 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

用spark将kafka的数据存到kafka里（方案一）

依赖 <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-core_2.11</artifactId> <version>2.4.3</version> ...
原创
发布博客 2019.08.20 ·
681 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

用mapreduce将hdfs的数据存到mysql中（虚拟机的mysql）

依赖 <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-client</artifactId> <version>2.9.2</versio...
原创
发布博客 2019.08.18 ·
508 阅读 ·
0 点赞 ·
1 评论 ·
3 收藏

用mapreduce将hdfs的数据存入到hbase中

依赖 <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-hdfs</artifactId> <version>2.6.0</version> ...
原创
发布博客 2019.08.18 ·
328 阅读 ·
0 点赞 ·
0 评论 ·
1 收藏

用spark将hdfs数据存到hbase中

第一步依赖 <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-core_2.11</artifactId> <version>2.4.3</version>...
原创
发布博客 2019.08.16 ·
388 阅读 ·
0 点赞 ·
0 评论 ·
1 收藏

用spark Streamming 将kafka的数据 展示到控制台

第一步依赖<dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-streaming-kafka-0-10_2.11</artifactId> <version>2.4.3</version></dep...
原创
发布博客 2019.08.16 ·
719 阅读 ·
0 点赞 ·
0 评论 ·
1 收藏

用spark Streamming 将mysql的数据 展示到控制台

第一步依赖<dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-streaming-kafka-0-10_2.11</artifactId> <version>2.4.3</version></dep...
原创
发布博客 2019.08.16 ·
184 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏
加载更多