SparkSQL07_ThriftServer_01_SparkThriftServer环境搭建

1. 首先安装Hive并且保证已经启动了Hive Meta Store Service

如果没有启动Hive Meta Store Service，那么hive-site.xml文件中如下配置的通过thrift访问metastore server将无法建立连接，也就是9083端口没有监听

  <property>
    <name>hive.metastore.uris</name>
    <value>thrift://0.0.0.0:9083</value>
  </property>

2. 通过bin/spark-sql可以进行Hive操作，比如

spark-sql> show databases;
spark-sql> use default;
spark-sql> show tables;
spark-sql> select * from myhivetable limit 3; <pre name="code" class="java">spark-sql> select * from myhivetable limit 6; 

此时，Spark UI上显示的内容是。所以spark-sql也称为CLI(客户端命令行程序)

3. 启动spark-thrift server，然后通过beeline访问Hive

3.1

sbin/start-thriftserver.sh

thrift server启动后，默认监听于10000端口

3.2 启动beeline

bin/beeline
beeline> !connect jdbc:hive2://localhost:10000
scan complete in 1ms
Connecting to jdbc:hive2://localhost:10000
Enter username for jdbc:hive2://localhost:10000: 

如果没有进行安全性相关的设置，用户名输入当前Linux的用户名，密码为空

Enter username for jdbc:hive2://localhost:10000: admin
Enter password for jdbc:hive2://localhost:10000: 
Connected to: Spark SQL (version 1.4.1)
Driver: Spark Project Core (version 1.4.1)
Transaction isolation: TRANSACTION_REPEATABLE_READ
0: jdbc:hive2://localhost:10000> 

3.3 在0: jdbc:hive2://localhost:10000>后面可以输入Hive命令

Spark UI上显示的结果是：UI上显示SparkJDBCServer，这跟Spark Thrift Server称为Spark JDBC/ODBC Server是一致的。