kafka实时读取sqlserver数据_flink_sql_client 1.10 与 hive集成 读取实时数据

很期待用纯sql的形式来处理流式数据，flink 1.10推出了生产可用的 Hive 集成，拥有了更强的流式 SQL 处理能力。这次我们就来尝试一下啦~~

【本文大纲】 1、环境准备 2、SQL Client与hive集成配置 3、用SQL Client读取kafka数据

1、环境准备

相关软件版本： linux版本：centos 6.5 Java版本：jdk1.8 Hive版本：hive-2.3.4 Hadoop版本：hadoop-2.7.3 flink: flink-1.10.0 scala:scala-2.11 kafka:kafka_2.11-2.3.0

有关java、hive、hadoop的安装之前写过了： Hive源码系列(一)hive2.1.1+hadoop2.7.3环境搭建

下面准备一下flink,scala,kafka环境

1.1 scala安装

下载  scala-2.11.12.tgz

tar -zxvf  scala-2.11.12.tgz ##解压scalaln -s flink-1.10.0 flink ##软链接vim /etc/profile ##设置环境变量

source /etc/profile ##生效

测试：