Spark2.0.1 on yarn with hue 集群安装部署（九）启动脚本编写

最新推荐文章于 2023-06-27 17:10:50 发布
最新推荐文章于 2023-06-27 17:10:50 发布
阅读量838 收藏 1
点赞数
分类专栏： hue 文章标签： spark yarn hive hue shell
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/dockj/article/details/53386331
版权

启动脚本编写

1、创建文件夹

cd ~
mkdir bin

将执行脚本放置该文件夹内。

2、启动脚本start-hue-all.sh

#!/bin/bash
#to start hive metastore,livy,hive hiveserver2,hue


export HIVE_HOME=/bigdata/hive21
export SPAKR_HOME=/bigdata/spark
export HUE_HOME=/bigdata/hue
export LIVY_HOME=/bigdata/livy

#format the date
dateStr=$(date +"%Y-%m-%d")

#log dir and log file
#hive
hive_log_dir=/data/logs/hive210
hive_metastore_file=metastore.${dateStr}.out
hive_server_file=hiveserver2.${dateStr}.out

#hue
hue_log_dir=/data/logs/hue
hue_log_file=$hue_log_dir/hue.${dateStr}.out



#to start hive metastore
hivePid=$(jps | grep RunJar | awk '{print $1}')

if [ -z $hivePid ];then

if [ -d $hive_log_dir ];then
echo "hive metastore log file is exists"
else
mkdir -p ${hive_log_dir}
fi

if [ $? -eq 0 ];then
echo "hive metastore log to ${hive_log_dir}/${hive_metastore_file}"
nohup hive --service metastore > ${hive_log_dir}/${hive_metastore_file} 2>&1 &
else
echo "start hive metastore service error"
exit -1
fi

if [ $? -ne 0 ];then
echo "start hive metastore fail"
exit -1
fi

else
echo "hive metastore is running"
fi
#to start livy
livyPid=$(jps | grep LivyServer | awk '{print $1}')

if [ -z $livyPid ];then
#livy_log_dir=/data/logs/livy
#livy_log=${livy_log_dir}/livy.${dateStr}.out
#if [ -d $livy_log_dir} ];then
#echo "livy log file is exists"
#else
#mkdir -p ${livy_log_dir}
#fi

if [ $? -eq 0 ];then
#echo "livy log to ${livy_log}"
#nohup $LIVY_HOME/bin/livy-server >${livy_log} 2>&1 &
$LIVY_HOME/bin/livy-server start
else
echo "start livy fail"
exit -1
fi

if [ $? -ne 0 ];then
echo "start livy fail"
exit -1
fi

else
echo "livy is running"
fi

#to start spark thriftserver
#start_spark="$SPARK_HOME/sbin/start-thriftserver.sh --driver-class-path /bigdata/spark/sql/hive-thriftserver/target/mysql-connector-java-5.1.40-bin.jar"
#if [ $# -lt 1 ];then
#echo "start sparksql with-->$start_spark --master yarn --deploy-mode client"
#$start_spark --master yarn --deploy-mode client
#else
#echo "start sparksql with -->$start_spark $*"
#$start_spark $*
#fi

#to start hiveserver2
hiveserver2Pid=$(netstat -nltp | grep 10000 | awk '{print $7}')

if [ -z $hiveserver2Pid ];then


if [ -d $hive_log_dir ];then
echo "hive hiveserver2 log file is exists"
else
mkdir -p ${hive_log_dir}
fi

if [ $? -eq 0 ];then
echo "hive metastore log to ${hive_log_dir}/${hive_server_file}"
nohup hive --service hiveserver2 > ${hive_log_dir}/${hive_server_file} 2>&1 &
else
echo "start hive hiveserver2 service error"
exit -1
fi


if [ $? -ne 0 ];then
echo "start hiveserver2 fail"
exit -1
fi

else
echo "hiveserver2 is running"
fi


#to start hue
if [ -d $hue_log_dir ];then
echo "hue log to $hue_log_dir"
else
mkdir -p $hue_log_dir
fi

supervisorPid=$(ps -ef |grep $HUE_HOME/build/env/bin/supervisor|grep -v grep|awk '{print $2}')

if [ -z $supervisorPid ];then

start_hue="$HUE_HOME/build/env/bin/supervisor"

if [ $? -eq 0 ];then
echo "starting hue with:nohup $start_hue >${hue_log_file} 2>&1 &"
nohup $start_hue>${hue_log_file} 2>&1 &
else
echo "fail to start hue"
exit-1
fi

if [ $? -ne 0 ];then
echo "start hue fail"
exit -1
fi
else
echo "hue is running"
fi

echo "start hive metastore livy¡hive hiveserver2¡hue success"

3、暂停脚本stop-hue-all.sh

#!/bin/bash
#to stop hive metastore,hive hiveserver2,livy,hue

#sparkSqlServer="$SPARK_HOME/sbin/stop-thriftserver.sh"

export HUE_HOME=/bigdata/hue
export LIVY_HOME=/bigdata/livy

#to stop hue
pidInfo=$(netstat -nltp | grep 8888 | awk '{print $7}')
pid=${pidInfo%/*}
supervisorPid=$(ps -ef |grep $HUE_HOME/build/env/bin/supervisor|grep -v grep|awk '{print $2}')

if [ -z $supervisorPid ];then
echo "no supervisor to stop"
else
echo "stop supervisor"
kill -9 $supervisorPid
fi

if [ -z $pid ];then
echo "no hue running"
else
echo "stop hue"
kill -9 $pid
fi

if [ $? -ne 0 ];then
echo "fail to stop hue"
exit -1
fi

#to stop livy
livyPid=$(jps | grep LivyServer | awk '{print $1}')
if [ -z $livyPid ];then
echo "no livyserver running"
else
echo "to stop livyserver"
$LIVY_HOME/bin/livy-server stop
fi

if [ $? -ne 0 ];then
echo "fail to stop livyserver"
exit -1
fi

#to stop hiveserver2
hiveserver2PidStr=$(netstat -nltp | grep 10000 | awk '{print $7}')
hiveserver2Pid=${hiveserver2PidStr%/*}
if [ -z $hiveserver2Pid ];then
echo "no hiveserver2 to stop"
else
echo "to stop hiveserver2"
kill -9 $hiveserver2Pid
fi

if [ $? -ne 0 ];then
echo "fail to stop hiveserver2"
exit -1
fi

#to stop metastore
hivePidStr=$(netstat -nltp | grep 9083 | awk '{print $7}')
hivePid=${hivePidStr%/*}
if [ -z $hivePid ];then
echo "no hive metastore to stop"
else
echo "to stop hive metastore service"
kill -9 $hivePid
fi

if [ $? -ne 0 ];then
echo "fail to stop hive metastore service"
exit -1
fi

#to stop spark thriftserver
#sparkSqlInfo=$(netstat -nltp | grep 10000 | awk '{print $7}')
#if [ -z $sparkSqlInfo ];then
#echo "no sparksql server running"
#else
#$sparkSqlServer
#fi

echo "stop success"

4、start-metastore.sh

#!/bin/bash

#this shell just to start metastore server

export HIVE_HOME=/bigdata/hive

#format the date
dateStr=$(date +"%Y-%m-%d")

#log dir and log file
#hive
hive_log_dir=/data/logs/hive
hive_metastore_file=metastore.${dateStr}.out

#to start hive metastore
hivePid=$(jps | grep RunJar | awk '{print $1}')

if [ -z $hivePid ];then

if [ -d $hive_log_dir ];then
echo "hive metastore log file is exists"
else
mkdir -p ${hive_log_dir}
fi

if [ $? -eq 0 ];then
echo "hive metastore log to ${hive_log_dir}/${hive_metastore_file}"
nohup hive --service metastore > ${hive_log_dir}/${hive_metastore_file} 2>&1 &
else
echo "start hive metastore service error"
exit -1
fi

if [ $? -ne 0 ];then
echo "start hive metastore fail"
exit -1
fi

else
echo "hive metastore is running"
fi

5、stop-metastore.sh

#!/bin/bash
#this shell just to stop metastore server

#to stop metastore
hivePidStr=$(netstat -nltp | grep 9083 | awk '{print $7}')
hivePid=${hivePidStr%/*}
if [ -z $hivePid ];then
echo "no hive metastore to stop"
else
echo "to stop hive metastore service:kill -9 $hivePid"
kill -9 $hivePid
fi

if [ $? -ne 0 ];then
echo "fail to stop hive metastore service"
exit -1
fi

echo "stop hive metastore success"

6、start-hiveserver2.sh

#!/bin/bash

#this shell just to start hiveserver2

export HIVE_HOME=/bigdata/hive

#format the date
dateStr=$(date +"%Y-%m-%d")

#log dir and log file
#hive
hive_log_dir=/data/logs/hive
hive_server_file=hiveserver2.${dateStr}.out

#to start hiveserver2
hiveserver2Pid=$(netstat -nltp | grep 10000 | awk '{print $7}')

if [ -z $hiveserver2Pid ];then


if [ -d $hive_log_dir ];then
echo "hive hiveserver2 log file is exists"
else
mkdir -p ${hive_log_dir}
fi

if [ $? -eq 0 ];then
echo "hive metastore log to ${hive_log_dir}/${hive_server_file}"
nohup hive --service hiveserver2 > ${hive_log_dir}/${hive_server_file} 2>&1 &
else
echo "start hive hiveserver2 service error"
exit -1
fi


if [ $? -ne 0 ];then
echo "start hiveserver2 fail"
exit -1
fi

else
echo "hiveserver2 is running"
fi

7、stop-hiveserver2.sh

#!/bin/bash

#this shell just to stop hiveserver2


#to stop hiveserver2
hiveserver2PidStr=$(netstat -nltp | grep 10000 | awk '{print $7}')
hiveserver2Pid=${hiveserver2PidStr%/*}
if [ -z $hiveserver2Pid ];then
echo "no hiveserver2 to stop"
else
echo "to stop hiveserver2"
kill -9 $hiveserver2Pid
fi

if [ $? -ne 0 ];then
echo "fail to stop hiveserver2"
exit -1
fi

8、start-thritfserver.sh

#!/bin/bash

#this shell just to start spark thriftserver

export SPARK_HOME=/bigdata/spark
#to start spark thriftserver
serverPid=$(netstat -nltp | grep 10008 | awk '{print $7}')

if [ -z $serverPid ];then
start_spark="$SPARK_HOME/sbin/start-thriftserver.sh"

if [ $# -lt 1 ];then
echo "start sparksql with-->$start_spark --master yarn --deploy-mode client"
$start_spark --master yarn --deploy-mode client
else
echo "start sparksql with -->$start_spark $*"
$start_spark $*
fi

if [ $? -ne 0 ];then
echo "start thriftserver fail"
exit -1
else
echo "start hiveserver2 is success"
fi

else
echo "10000 port is using,please stop it first"
fi

9、stop-thriftserver.sh

#!/bin/bash

#this shell just to stop spark thriftserver

export SPARK_HOME=/bigdata/spark
#to stop spark thriftserver

sparkSqlInfo=$(netstat -nltp | grep 10000 | awk '{print $7}')

if [ -z $sparkSqlInfo ];then
 echo "no sparksql server running"
else
 $SPARK_HOME/sbin/stop-thriftserver.sh
 if [ $? -ne 0 ];then
   echo "to stop spark thriftserver fail"
 else 
   echo "to stop spark thriftserver success"
 fi

10、start-livy.sh

#!/bin/bash

#this shell just to start livy server

export LIVY_HOME=/bigdata/livy
#to start livy
livyPid=$(jps | grep LivyServer | awk '{print $1}')

if [ -z $livyPid ];then
if [ $? -eq 0 ];then
$LIVY_HOME/bin/livy-server start
else
echo "start livy fail"
exit -1
fi

if [ $? -ne 0 ];then
echo "start livy fail"
exit -1
fi

else
echo "livy is running"
fi

11、stop-livy.sh

#!/bin/bash

#this shell just to stop livy server

export LIVY_HOME=/bigdata/livy
#to stop livy
livyPid=$(jps | grep LivyServer | awk '{print $1}')
if [ -z $livyPid ];then
echo "no livyserver running"
else
echo "to stop livyserver"
$LIVY_HOME/bin/livy-server stop
fi

if [ $? -ne 0 ];then
echo "fail to stop livyserver"
exit -1
fi

echo "stop livy server success"

12、start-hue.sh

#!/bin/bash

#this shell just to start hue server

export HUE_HOME=/bigdata/hue

#hue
hue_log_dir=/data/logs/hue
hue_log_file=$hue_log_dir/hue.${dateStr}.out

#to start hue
if [ -d $hue_log_dir ];then
echo "hue log to $hue_log_dir"
else
mkdir -p $hue_log_dir
fi

supervisorPid=$(ps -ef |grep $HUE_HOME/build/env/bin/supervisor|grep -v grep|awk '{print $2}')

if [ -z $supervisorPid ];then

start_hue="$HUE_HOME/build/env/bin/supervisor"

if [ $? -eq 0 ];then
echo "starting hue with:nohup $start_hue >${hue_log_file} 2>&1 &"
nohup $start_hue>${hue_log_file} 2>&1 &
else
echo "fail to start hue"
exit-1
fi

if [ $? -ne 0 ];then
echo "start hue fail"
exit -1
fi

else
echo "hue is running"
fi

13、stop-hue.sh

#!/bin/bash

#this shell just to stop hue server

export HUE_HOME=/bidata/hue
#to stop hue
pidInfo=$(netstat -nltp | grep 8888 | awk '{print $7}')
pid=${pidInfo%/*}
supervisorPid=$(ps -ef |grep $HUE_HOME/build/env/bin/supervisor|grep -v grep|awk '{print $2}')

if [ -z $supervisorPid ];then
echo "no supervisor to stop"
else
echo "stop supervisor:kill -9 $supervisorPid"
kill -9 $supervisorPid
fi

if [ -z $pid ];then
echo "no hue running"
else
echo "stop hue:kill -9 $pid"
kill -9 $pid
fi

if [ $? -ne 0 ];then
echo "fail to stop hue"
exit -1
fi

echo "stop hue server success"

14、根据每个服务编写启动和停止脚本

start-hiveserver2.sh 启动hiveserver2服务
stop-hiveserver2.sh 停止hiveserver2服务
start-metastore.sh 启动metastore服务
stop-metastore.sh 停止metastore服务
start-livy.sh 启动livy服务
stop-livy.sh 停止livy服务
start-hue.sh 启动hue服务
stop-hue.sh 停止hue服务
start-thriftserver.sh 启动sparksqlserver服务
stop-thriftserver.sh 停止sparksqlserver服务
对应修改各个脚本的export的HOME目录已经log的位置即可使用

15、设置脚本权限

chmod 744 *.sh

欢迎拍砖，能力有限，相互学习，相互进步

荷籽花结
关注
专栏目录
spark完全分布式部署
需要远程指导仿真实验、代码有问题的，请后台私信或者关注公众号
06-30 3386
本实验任务主要完成基于ubuntu环境的Spark完全分布式部署、配置和调试工作。通过完成本实验任务，要求学生熟练掌握Spark完全分布式部署方法，为后续实验的开展奠定Spark平台基础，也为从事大数据平台运维工程师、大数据技术支持工程师等岗位工作奠定夯实的技能基础。掌握Spark完全分布式环境的部署本次环境是：Ubuntu16.04spark有以下几种安装模式，每种安装模式都有自己不同的优点和长处。   local(本地模式)： 常用于本地开发测试，本地还分为local单线程和local-cluster多
hue是不是集成了oozie_在hue里面集成spark2，使用oozie的调度
weixin_39718006的博客
12-20 85
1.Oozie共享库添加Spark21.1查看当前Oozie的share-lib共享库HDFS目录oozie admin -oozie http://10.100.200.11:11000/oozie -sharelibupdate1.2.在Oozie的/user/oozie/share/lib/lib_20181112142531创建spark2目录sudo -u oozie hdfs dfs ...
Hue整合Yarn
一名假的程序猿
12-15 594
Hue安装 关于Hue的编译和安装详见我的另一片博客：https://blog.csdn.net/DataIntel_XiAn/article/details/103543368 Hue配置 [[yarn_clusters]] [[[default]]] resourcemanager_host=hadoop resourcemanager_p...
Spark2.0.1 on yarn with hue 集群搭建部署（二）spark on yarn搭建
dockj的博客
11-10 1734
spark on yarn +hue搭建
Spark2.0.1 on yarn with hue 集群搭建部署（一）基础环境配置
dockj的博客
11-07 1418
spark on yarn系统基础环境配置搭建 spark on yarn +hue linux基础环境配置以及jdk安装。
在HUE上面使用oozie调度shell脚本
最新发布
dameijiangshan的博客
06-27 460
怎么在HUE上面使用oozie提交一个shell脚本怎么在oozie上面实现周期重复执行step1启动虚拟机的...
spark-2.0.1集群安装及编写例子提交任务
11-11
本文将详细介绍如何在集群环境中安装Spark 2.0.1，并提供编写Spark应用程序的实例以及如何将任务提交到Spark Standalone集群。 首先，我们来看【spark集群安装.doc】。这份文档应该包含详细的Spark集群安装步骤。...
spark 2.0.1 JavaAPI
02-06
Spark 2.0.1是Apache Spark的一个重要版本，它为大数据处理提供了高效、易用的框架。在Java API方面，Spark提供了丰富的类库和接口，使得开发人员能够利用Java语言方便地进行分布式计算。本资源是关于Spark 2.0.1 ...
spark伪分布部署
需要远程指导仿真实验、代码有问题的，请后台私信或者关注公众号
06-30 653
本实验任务主要完成基于ubuntu环境的Spark伪分布部署、配置和调试工作。通过完成本实验任务，要求学生熟练掌握Spark伪分布部署方法，为后续实验的开展奠定Spark平台基础，也为从事大数据平台运维工程师、大数据技术支持工程师等岗位工作奠定夯实的技能基础。掌握Spark伪分布环境的搭建配置本次环境是：Ubuntu16.04 所需root密码为simpleware-sshspark有以下几种安装模式，每种安装模式都有自己不同的优点和长处。   local(本地模式)： 常用于本地开发测试，本地还分为loc
Spark升级2.0.1版本安装部署教程
suhanjiao4897的博客
10-17 3080
Spark升级2.0.1版本安装部署教程       0.集群当前环境 Hadoop版本：2.7.1 JDK版本：jdk1.7.0_79 Hbase版本：1.1.2 Spark版本：1.5.0 Scala版本：2.10.4 1.Spark安装 a)   在官网（http://spark.apache.org/downloads.html）上下载与当前hadoop版本适
hue提交spark jar任务的使用文档
01-05
hue中对spark任务的支持，是靠oozie支撑的。文档中提供了如何在hue中提交spark作业的操作步骤。
Hue编译安装适配sparksql（hue+livy+sparksql+pyspark）
这个人很懒。
04-17 2094
Hue是一个开源的SQL助手，用于数据仓库。它可以与Livy集成，以便更轻松地开发SQL片段。本篇文章带大家安装hue+livy，配置sparksql，pyspark
脚本自动定时启动/停止Cloudera版本的Hue
杨鑫newlife的专栏
03-06 881
我们可以利用基于Cloudera的Hue的API接口 停止命令： curl -X POST -u 'admin:admin' http://ip:7180/api/v18/clusters/cluster/services/hue/commands/stop 启动命令： curl -X POST -u 'admin:admin' http://ip:7180/api/v18/cl...
Hue开发指南 - 提交 Spark 程序
jast
03-31 3407
Hue开发指南 Hue是面向 Hadoop 的开源用户界面，可以让您更轻松地运行和开发 Hive 查询、管理 HDFS 中的文件、运行和开发 Pig 脚本以及管理表。 1.Spark文件打包成一个Jar包提交Hue运行 1.上传Spark Jar包至HDFS文件系统 上传方式不做具体介绍 2.Hue中创建Spark任务 打开Workflow 选择 ACTIONS ...
如何在Hue中添加Spark Notebook
weixin_34242658的博客
01-15 413
2019独角兽企业重金招聘Python工程师标准>>> ...
Spark2.0.1 on yarn with hue 集群安装部署（七）livy安装测试
dockj的博客
11-25 8483
R安装，pip安装，livy安装，livy整合spark，livy整合spark测试
CDH5中的hue的日志路径
qxf1374268的博客
02-13 3131
在 /var/log/hue 下面
使用Hue创建Spark1和Spark2的Oozie工作流
zkf541076398的博客
04-14 3135
1.文档编写目的使用Hue可以方便的通过界面制定Oozie的工作流，支持Hive、Pig、Spark、Java、Sqoop、MapReduce、Shell等等。Spark？那能不能支持Spark2的呢，接下来本文章就主要讲述如何使用Hue创建Spark1和Spark2的Oozie工作流。内容概述1.添加Spark2到Oozie的Share-lib2.创建Spark2的Oozie工作流3.创建Spa...
安装Oozie共享库并添加Spark2
gmHappy
08-11 856
安装Oozie共享库 异常表现 原文如下： org.apache.oozie.action.ActionExecutorException: File /user/oozie/share/lib does not exist. at org.apache.oozie.action.hadoop.JavaActionExecutor.addSystemShareLibFo 错误分析 通过命令hadoop fs -ls /user命令查看文件目录，确实不存在/user/oozie路径，说明oozie的sha
Spark 2.1 集群安装教程：步骤与配置详解
本篇文章主要介绍了Spark 2.1集群的安装过程以及相关的配置步骤。Spark是一个开源的大数据处理框架，适用于大规模数据处理和机器学习任务。在这里，我们将通过详细的步骤来部署一个由五台机器（cancer01作为master...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值