Linux命令备忘

1.查询大于1G的文件，执行某操作

find ./ -type f  -size +1G (exec ....)

2.查询指定名字的文件

find ./ -name filename

3.删除除了某文件外的其他文件

rm -rf !(filename|...|...)

4.杀死所有进程名为processname的进程

kill -9 `ps -ef| grep processname| awk '{print $2}'`

5.查看指定名字的进程PID

ps aux|grep flume| awk '{print $2}'

6.配置脚本为可执行

chmod 755 shellname

7.查询存储空间使用情况

df -h

8.如果df -h发现存储空间占用但是df -sh又没有发现大文件

service rsyslog stop
service rsyslog start

9.查询文件大小

du -sh (*)

使用spark时：
关闭sparkstreaming 命令

 yarn application -kill applicationId

查询当前运行中的sparkapplication

yarn application -list 

spark启动程序命令
nohup spark-submit –class CustomerflowSparkStreamingMapReduceJob –master yarn-cluster –name CustomerflowSparkStreamingMapReduceJob –driver-memory 2g –executor-memory 6g –num-executors 3 –executor-cores 3 /root/customerflow.jar customerflow-job-2min100.xml &