shell （一）脚本启动常用组件、文件与目录管理

处理目录的常用命令

ls: 列出目录及文件名
cd：切换目录
pwd：显示目前的目录
mkdir：创建一个新的目录
rmdir：删除一个空的目录
cp: 复制文件或目录
rm: 移除文件或目录
mv: 移动文件与目录，或修改文件与目录的名称

-a ：全部的文件，连同隐藏文件( 开头为 . 的文件) 一起列出来(常用)
-d ：仅列出目录本身，而不是列出目录内的文件数据(常用)
-l ：长数据串列出，包含文件的属性与权限等等数据；(常用)
# 如：所有文件列出来(含属性与隐藏档)
ls -al ~

rm (移除文件或目录)

# 语法：
 rm [-fir] # 文件或目录
 
# 选项与参数：
# -f ：就是 force 的意思，忽略不存在的文件，不会出现警告信息；
# -i ：互动模式，在删除前会询问使用者是否动作
# -r ：递归删除啊！最常用在目录的删除了！这是非常危险的选项！！！

mv (移动文件与目录，或修改名称)

# 语法：
mv [-fiu] source destination
mv [options] source1 source2 source3 .... directory

# 选项与参数：
# -f ：force 强制的意思，如果目标文件已经存在，不会询问而直接覆盖；
# -i ：若目标文件 (destination) 已经存在时，就会询问是否覆盖！
# -u ：若目标文件已经存在，且 source 比较新，才会升级 (update)

启动zookeeper等组件脚本

# 启动zookeeper
zkServer.sh stop
zkServer.sh start
# 启动Hadoop
stop-all.sh
start-all.sh
# 启动Spark
cd ~/software/spark2.4/sbin
./stop-all.sh
./start-all.sh
# 启动HBase
stop-hbase.sh
start-hbase.sh
# 启动zeppelin
zeppelin-daemon.sh stop
zeppelin-daemon.sh start
# 启动Kafka
cd ~/software/kafka_2.12-2.3.0/bin
./kafka-server-stop.sh ../config/server.properties
./kafka-server-start.sh ../config/server.properties

启动spark和Hadoop脚本

stop-all.sh
start-all.sh  # 启动hadoop

cd ~/software/spark2.4/sbin # 进入spark/sbin目录

./stop-all.sh
./start-all.sh # 执行spark启动脚本

启动Jupyter、pyspark脚本

cd ~/ipynbs

# 启动Jupyter

PYSPARK_DRIVER_PYTHON=jupyter PYSPARK_DRIVER_PYTHON_OPTS="notebook" HADOOP_CONF_DIR=/home/hduser/software/hadoop-3.1.1/etc/hadoop pyspark --master yarn --deploy-mode client

启动kylin脚本

nohup hive --service hiveserver2 2>>~/log 1>>/dev/null &

nohup hive --service metastore >> ~/abc.log &

kylin.sh stop
kylin.sh start