采用yarn方式启动spark-thriftserver

采用yarn方式启动spark-thriftserver
1、修改spark-env.sh配置文件

export HADOOP_CONF_DIR=/usr/local/src/app/hadoop-2.6.0-cdh5.16.2/etc/hadoop
export SPARK_HISTORY_OPTS="-Dspark.history.port=18080 -Dspark.history.fs.logDirectory=hdfs://hadoop001:8020/sparkHistoryLog -Dspark.history.retainedApplication=30"

2、修改spark-defaults.conf配置文件

spark.eventLog.enabled           true
spark.eventLog.dir               hdfs://hadoop001:8020/sparkHistoryLog
spark.yarn.historyServer.address=hadoop001:18080
spark.history.ui.port=18080

3、启动thriftserver

sh ./start-thriftserver.sh --master yarn

4、查看是否启动


5、采用beeline客户端访问

../bin/beeline  -u jdbc:hive2://hadoop001:10000 -n hive -phive

6、当然通过3中直接启动，直接启动thriftserver这种方式，操作的数据只是在缓存中生成了，如果想要保存起来，就需要用到hive将元数据保存起来，接下来使用 mysql保存元数据

7、下载hive-1.1.0-cdh5.16.2 后面会将使用到的软件贴出来,编辑hive-site.xml.

 <property>
      <name>javax.jdo.option.ConnectionURL</name>
      <value>jdbc:mysql://IP:3306/hadoop_hivedb?createDatabaseIfNotExist=true&amp;useSSL=false&amp;serverTimezone=UTC&amp;useUnicode=true&amp;characterEncoding=UTF-8</value>
    </property>
    <property>
      <name>javax.jdo.option.ConnectionDriverName</name>
      <value>com.mysql.cj.jdbc.Driver</value>
    </property>
    <property>
      <name>javax.jdo.option.ConnectionUserName</name>
      <value>root</value>
    </property>
    <property>
      <name>javax.jdo.option.ConnectionPassword</name>
      <value>xxxx</value>
    </property>

8、需要将mysql驱动包放入lib目录

9、初始化数据库信息

schematool -dbType mysql -initSchema

10、采用后台启动方式启动元数据服务

nohup hive --service metastore &

查看是否启动成功

11、官方文档关于这部分的说明：将一下配置文件拷贝到spark conf中

Configuration of Hive is done by placing your hive-site.xml, core-site.xml and hdfs-site.xml files in conf/.

12、将mysql驱动拷贝到spark 的 jars文件夹中

14、执行如下命令启动

./start-thriftserver.sh  --master yarn

15、访问

../bin/beeline  -u jdbc:hive2://hadoop001:10000 -n root -phive

注意：如果遇到 权限问题可以参考一下连接
https://www.cnblogs.com/chenxiaoge/p/13335437.html

16、最后附上yarn截图