常用 Hadoop 操作管理命令

最新推荐文章于 2022-04-19 07:54:40 发布

人生苦短抓紧挣钱

最新推荐文章于 2022-04-19 07:54:40 发布

阅读量290

点赞数

分类专栏： hadoop 文章标签：集群

本文链接：https://blog.csdn.net/qq_37595931/article/details/79444958

版权

hadoop 专栏收录该内容

0 篇文章 0 订阅

订阅专栏

个人总结一些命令

拷贝文件
hadoop fs -conf hadoop_conf_file -copyToLocal 原路径新路径
hadoop fs -conf hadoop_conf_file -cp 原路径新路径
将本地文件推送到集群
hadoop fs -conf hadoop_conf_file -put 本地文件目标地址
检测文件是否存在
hadoop fs -conf hadoop_conf_file -test -e 目标地址
if [ $? -eq 0 ] ; then
存在
删除文件
hadoop fs -conf hadoop_conf_file -rmr
创建文件
hadoop fs -conf hadoop_conf_file -mkdir
统计文件大小
hadoop fs -conf hadoop_conf_file -count

hadoop fs -conf

查看所有队列的使用情况
hadoop queue -conf hadoop_conf_file -list
查看某个队列的所有任务
hadoop queue -conf hadoop_conf_file -info 队列名 -showJobs
查看队列的使用情况
hadoop queue -conf hadoop_conf_file -info 队列名

杀死任务
hadoop job -conf hadoop_conf_file -kill job_id
动态修改优先级
hadoop job -conf hadoop_conf_file -set-priority job_id HIGH
动态查看状态
hadoop job -conf hadoop_conf_file -status job_id
动态修改任务map
hadoop job -conf hadoop_conf_file -set-map-capacity job_id 2000
动态修改任务reduce
hadoop job -conf hadoop_conf_file -set-reduce-capacity job_id 2000
查看集群所有队列的任务
hadoop job -conf hadoop_conf_file -list