Linux基本操作命令（hadoop、spark等）

spark

zip -d Spark.jar *.DSA *.SF   // 删除spark的jar包中这些后缀的文件（在集群上运行jar包时要删除）

yarn logs -applicationId application_Id > log // 下载spark运行的日志文件

vim log // 查看日志

yarn application -kill  // 删除spark任务（后面跟application_Id）

 HDFS

hdfs dfs -rmr / 删除文件

hdfs dfs -put /home/hdfs/files/test.txt   /input    //将本地文件上传到HDFS中，前面为服务器文件路径，后面为HDFS文件路径 

hdfs dfs -ls /input         //查看HDFS文件 

hdfs dfs -cat   /input/test.txt     //显示文件中的内容 

hdfs dfs -mkdir -p /dir1/dir11/dir111   // -mkdir 创建文件夹 后跟-p 可以创建不存在的父路径 

ps -ef|grep "jar包名字" // 查看任务