分布式SQL引擎之ThriftServer服务和beeline

概述

Spark Thrift Server将Spark Applicaiton当做一个服务运行，提供Beeline客户端和JDBC方式访问，与Hive中HiveServer2服务一样的。

注：
Spark Thrift JDBC/ODBC Server 依赖于HiveServer2服务（依赖JAR包），所有要想使用此功能，在编译Spark源码时，支持Hive Thrift。

启动ThriftServer服务

启动ThriftServer之前需要开启hive的元数据库的服务metastore：
nohup /export/server/hive/bin/hive --service metastore &

在Spark软件包的目录下的sbin目录,有相关的服务启动命令：

SPARK_HOME=/export/server/spark
$SPARK_HOME/sbin/start-thriftserver.sh \
--hiveconf hive.server2.thrift.port=10000 \
--hiveconf hive.server2.thrift.bind.host=node1.itcast.cn \
--master local[2] \
--conf spark.sql.shuffle.partitions=2

监控WEB UI界面：

使用Beeline连接(类似Hive中beeline客户端)

/export/server/spark/bin/beeline

连接到ThriftServer服务：
!connect jdbc:hive2://node1.itcast.cn:10000

自定义用户名和密码：
Enter username for jdbc:hive2://node1.itcast.cn:10000: root
Enter password for jdbc:hive2://node1.itcast.cn:10000: ****

连接成功：

测试

show databases;

查看WEB-UI：
node1.itcast.cn:4040