大数据
文章平均质量分 77
帅入膏肓
程序猿
展开
-
Flink 使用技巧
基本使用直接参照官方文档:https://ci.apache.org/projects/flink/flink-docs-release-1.9/dev/connectors/kafka.html以下分享以下我的个性化使用方式1.EventTime使用数据源时间,注册水印StreamExecutionEnvironment env = StreamExecutionEnviron...原创 2020-01-09 19:25:42 · 2573 阅读 · 0 评论 -
Flink on yarn遇到的问题
Flink版本:flink-1.9.1下载地址:https://flink.apache.org/downloads.html我是分开部署的,部署了hadoop 3.1.2所以下载 两个文件Apache Flink 1.9.1 for Scala 2.12和Pre-bundled Hadoop 2.8.3(一个jar包)官方文档:https://ci.apache.org/...原创 2019-12-25 17:46:12 · 9767 阅读 · 6 评论 -
Hadoop物理机集群搭建(hdfs和yarn)版本:hadoop-3.1.2
官方文档:http://hadoop.apache.org/docs/r3.1.2/hadoop-project-dist/hadoop-common/ClusterSetup.html准备工作:1.需要先安装jdk82.四台机器ssh相互信任(教程:一会写)3.关闭防火墙或者四台机器ip都加到白名单服务器配置(4台):172.29.1.155(用作NameNode和Res...原创 2019-12-25 16:19:28 · 4190 阅读 · 0 评论