spark中thriftserver服务端、beeline客户端使用

最新推荐文章于 2024-08-12 02:56:58 发布

GulfMoon

最新推荐文章于 2024-08-12 02:56:58 发布

阅读量1.8k

点赞数 1

分类专栏： Spark 文章标签： Spark Spark SQL

本文链接：https://blog.csdn.net/u011817217/article/details/82626381

版权

Spark 专栏收录该内容

16 篇文章 0 订阅

订阅专栏

一、thriftserver服务端

1. 启动服务

$SPARK_HOME/sbin/start-thriftserver.sh --hiveconf hive.server2.thrift.port=10000 --hiveconf hive.server2.thrift.bind.host=c3pretest1

1）指定服务端端口

hive.server2.thrift.port

2）指定服务端host

hive.server2.thrift.bind.host

2. 停止服务

$SPARK_HOME/sbin/stop-thriftserver.sh

二、beeline客户端连接sparkSQL

1. JDBC方式连接sparkSQL

$SPARK_HOME/bin/beeline  -u jdbc:hive2://c3pretest1:10000

三、查看日志

tail -f /home/c3app/c3/logs/spark/spark-c3-org.apache.spark.sql.hive.thriftserver.HiveThriftServer2-1-c3pretest1.out

四、设置alias别名

vi ~/.bash_profile

alias sparksql='$SPARK_HOME/bin/beeline  -u jdbc:hive2://c3pretest1:10000'
alias sparksvr='$SPARK_HOME/sbin/start-thriftserver.sh --hiveconf hive.server2.thrift.port=10000 --hiveconf hive.server2.thrift.bind.host=c3pretest1'
alias sparklog='tail -f /home/c3app/c3/logs/spark/spark-c3-org.apache.spark.sql.hive.thriftserver.HiveThriftServer2-1-c3pretest1.out'

通过在环境变量中设置alias别名，可以很方便的启动服务端、连接服务端、查看日志等操作。

备注：

spark安装路径下lib文件夹：确保有“mysql-connector-java-5.1.30-bin.jar”