大数据自学阶段Spark集群一键启动脚本

最新推荐文章于 2023-02-11 16:06:13 发布

wuzhenyu1234

最新推荐文章于 2023-02-11 16:06:13 发布

阅读量425

点赞数

分类专栏： Python数据库文章标签：大数据 spark hadoop

本文链接：https://blog.csdn.net/wuzhenyu1234/article/details/127002339

版权

Python数据库专栏收录该内容

4 篇文章 0 订阅

订阅专栏

import time
import os

os.system('/export/server/hadoop/sbin/start-all.sh')
time.sleep(5)
print('>>>>>>>>>>>>>>>>>>成功开启了hadoop<<<<<<<<<<<<<<<')

os.system('nohup hive --service metastore &')
time.sleep(5)
print('>>>>>>>>>>>>>>>>>>成功开启了元数据库<<<<<<<<<<<<<')

os.system('nohup hive --service hiveserver2 &')
time.sleep(5)
print('>>>>>>>>>>>>>>>>>>成功开启了hive2<<<<<<<<<<<<<<<<')

time.sleep(5)

os.system('/export/server/spark/sbin/start-thriftserver.sh --hiveconf hive.server2.thrift.port=20000 --hiveconf hive.server2.thrift.bind.host=node4 --conf spark.sql.warehouse.dir=hdfs://node4:8020/user/hive/warehouse --master yarn --name thriftserver2_demo')
print('>>>>>>>>>>>>>>>>>>成功开启了spark<<<<<<<<<<<<<<<<')

print('>>>>>>>>>>>>>>>>>>已经全部启动<<<<<<<<<<<<<<<<<<<')