linux命令（杀任务，看日志，查目录大小，打包压缩，上传文件, pyspark json jar）

yarn application -list
yarn application -kill

hadoop job -list
hadoop job -kill

ps -ef | grep /home/xxx/project/run.sh
kill -s 9 18538

#查杀端口
#mac:
lsof -i :8008
#linux:
netstat -tln | grep 8008#端口号
kill 9 Pid

yarn logs -applicationId application_13200000000_341878 | less | grep 'error'

du -sh .[!.]* #目录文件大小

top
free -h

tar zcvf FileName.tar.gz DirName #打包压缩DirName
tar zxvf FileName.tar.gz DirName #解压到路径。。。下

zip -r  dir.zip dir/*
unzip dir.zip

scp -P 22022 data.csv.zip yourname@xxx.xx.xx.xx:/tmp/ #最好是tmp，避免路径权限及空间大小不足导致传输失败
rz data.csv.zip #从本地上传至服务器
sz data.csv.zip #从服务器下载至本地

#某些di表有复杂的解析结构时（可能有json，但不一定你用到），这时候需要此jar包
spark2-submit --jars /opt/cloudera/parcels/CDH/jars/json-serde-1.3.8-jar-with-dependencies.jar spark_demo.py

--jars /usr/hdp/2.6.5.0-292/spark/lib/json-serde-1.3.8-jar-with-dependencies.jar
export SPARK_MAJOR_VERSION=2

#全局配置
sudo vim /etc/profile

#个人配置
vim ~/.bashrc
vim ~/.zshrc

vim ~/.ssh/config #登陆