Spark SQL thrift server 部署

最新推荐文章于 2023-03-15 16:27:00 发布

liam08

最新推荐文章于 2023-03-15 16:27:00 发布

阅读量1.1k

点赞数 1

分类专栏： Spark Hive 文章标签： spark sql 数据 hdfs hive

本文链接：https://blog.csdn.net/liam08/article/details/51148846

版权

本文档介绍了如何部署和运行Spark SQL Thrift Server，包括将Hive和Spark配置文件同步，启动Spark SQL进行交互式查询，以及启动Thrift Server供远程访问。此外，还提到了如何使用Beeline客户端连接Thrift Server，以及解决端口冲突和安全验证的问题。

摘要由CSDN通过智能技术生成

说明

1.需要先部署好hive和spark on yarn.
2.Spark1.6对应Hive1.2.1，Spark1.4对应Hive0.13.

配置

将Hive的配置文件hive-site.xml和HDFS的配置文件core-site.xml,hdfs-site.xml复制到spark的配置文件夹conf.

运行spark sql.

执行

./bin/spark-sql

可以交互式查询Hive数据.

运行spark thrift server

类似于HiveServer2,推荐用这种方式.
执行

./sbin/start-thriftserver.sh

将启动一个服务,通过10000端口提供远程访问.
也可以自定义参数如下:

./sbin/start-thriftserver.sh \
  --hiveconf hive.server2.thrift.port=<listening-port> \
  --hiveconf hive.server2.thrift.bind.host=<listening-host>
  --num-executors <num>

PS:如果该机器已经启动了HiveServer2占用了10000端口,则会启动失败,需要更换端口.
默认num-executors为2,代表executor的数量.