Flink
猫不夜行
静水流深,物我两忘
展开
-
Flink-1.11使用sql-client连接Hive-2.1.1
Flink-1.11使用sql-client连接Hive写在前面:Sql-client连接Hive是通过客户端的形式读写hive、测试相关语句的便捷方式,也是Flink搭建后测试操作Hive的第一步。前面因为版本问题一直没有进展,Flink在1.9.1版本中只面向Hive-1.2.1、Hive-2.3.4,而在不改变Hive版本的情况下,其他实现方式较为繁琐。而Flink-1.11版本中,已经...原创 2020-01-16 16:00:23 · 5709 阅读 · 2 评论 -
基于CDH-6.1.0编译flink-1.11-SNAPSHOT
基于CDH-6.1.0编译flink-1.11-SNAPSHOT编译准备环境:jdk-1.8maven-3.2.5下载flink-1.11安装包git clone --branch master https://github.com/apache/flink.git执行编译命令:mvn -T2C clean install -DskipTests -Dfast -Pinclud...原创 2020-01-16 15:55:30 · 4323 阅读 · 2 评论 -
Flink-1.9.1集成读写Hive(基于CDH 5.14.2集成成功)
写在前面本文记录了一次在CDH-5.14.2集群中(Hive 1.1.0-cdh5.14.2、Hadoop 2.6.0-cdh5.14.2)实现Flink-1.9.1集成读写Hive的过程,介绍了Flink自带sql-client连接Hive的方式以及java实现连接Hive的小demo。之前在CDH-6.1.0集群中因为版本的原因(Hive-2.1.1)没有执行成功。需要提醒的是Flink...原创 2020-01-13 16:30:49 · 3310 阅读 · 0 评论 -
Flink-1.9.1集成读写Hive(基于CDH 6.1.0集成失败过程记录)
写在前面本文介绍了一次Flink-1.9.1集成读写Hive的过程,介绍了Flink自带sql-client连接Hive的方式以及java实现连接Hive的小demo。注意:Flink官方表示目前Flink集成Hive仅支持2.3.4和1.2.1两个版本,我在利用CDH-6.1.0-Hadoop-3.0.0(Hive-2.1.1)集群集成Hive过程中发现,无论配置2.3.4和1.2.1都会出...原创 2020-01-09 12:54:17 · 3921 阅读 · 2 评论 -
基于CDH-5.14.2编译Flink1.9.1的安装包
准备工作maven3jdk1.8CDH-5.14.2下载源码包[root@node01 ~]# cd /opt/software/[root@node01 software]# wget http://archive.apache.org/dist/flink/flink-1.9.1/flink-1.9.1-src.tgz[root@node01 software]# t...原创 2020-01-03 09:55:19 · 3773 阅读 · 10 评论