Hadoop任务操作命令

最新推荐文章于 2023-11-22 09:45:28 发布
最新推荐文章于 2023-11-22 09:45:28 发布
阅读量974 收藏 1
点赞数
分类专栏： hadoop 文章标签： yarn 队列
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/paicMis/article/details/102540821
版权

HADOOP 上经常会对一个application进行一系列操作：
操作命令如下：
yarn application -list 查看yarn上面所有的application
yarn application -list -appStates RUNNING 查看 yarn上面真正running的application
yarn application -list -appTypes MAPREDUCE 查看目前yarn上面类型是 MapReduce的任务
yarn application -status application_1526100291229_206393 查看具体某个application的状态
yarn application -kill application_1526100291229_206393 删除具体某个application的
yarn application -appId application_1478676388082_963529 -updatePriority VERY_HIGH 调整队列的优先级
yarn application -movetoqueue application_1478676388082_963529 -queue root.etl 修改队列

Xlucas
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
实验二：熟悉常用的HDFS操作
05-05
A.2实验二:熟悉常用的HDFS操作 本实验对应第4章的内容。 A.2.1 实验目的 (1)理解 HDFS在Hadoop体系结构中的角色。(2）熟练使用HDFS操作常用的 Shell命令。(3)熟悉HDFS操作常用的Java API。 A.2.2 实验平台 (1）操作系统:Linux(建议Ubuntu 16.04）。(2) Hadoop版本:2.7.1。 (3）JDK版本:1.7或以上版本。(4) Java IDE:Eclipse。
hdfs yarn kill 任务
BUPT_SS4G的博客
12-26 470
hdfs kill 任务 先说结论 hdfs 上的hadoop 任务 直接在终端ctrl+C是不行的 任务一旦提交到集群上 就会继续 运行 所以应该使用 yarn application -kill application_1571706429831_129599 这个命令来kill job 起因 使用hadoop distcp 提交了一个拷贝任务 中途用ctrl+c取消了 然后去删除拷贝了一...
hadoop2.7.7 yarn application -kill application_id
qq 117791303
09-03 359
hadoop2.7.7 yarn application -kill application_id
hadoop job -kill 与 yarn application -kii（作业卡了或作业重复提交或MapReduce任务运行到running job卡住）
SeaSky_Steven的博客
09-16 407
原文地址：https://www.cnblogs.com/zlslch/p/6801898.html 　问题详情 解决办法 [hadoop@master ~]$ hadoop job -kill job_1493782088693_0001 DEPRECATED: Use of this script to execute...
HadoopYarn常用命令、yarn application查看任务、yarn logs查看日志、yarn applicationattempt查看尝试运行的任务、查看容器、Yarn生产环境核心参数
Redamancy06的博客
10-13 6762
yarn queue查看队列、yarn rmadmin更新配置、yarn node查看节点状态、yarn container查看容器、列出所有Application、根据Application状态过滤：yarn application -list -appStates （所有状态：ALL、NEW、NEW_SAVING、SUBMITTED、ACCEPTED、RUNNING、FINISHED、FAILED、KILLED）、Kill掉Application、查询Application日志、查询Container日
yarn常用命令
weixin_59246157的博客
05-02 3801
yarn install：安装所有依赖包。yarn remove：移除一个依赖包。yarn init：初始化一个新项目。yarn add：安装一个新的依赖包。yarn upgrade：升级依赖包。yarn run：运行一个自定义命令。yarn lint：运行代码检查。yarn start：启动项目。yarn build：构建项目。yarn test：运行测试。
Yarn 常用命令
热门推荐
dearyang
04-15 2万+
yarn 安装 npm install -g yarn 查看版本 yarn -v 开始一个新工程 yarn init 与 npm init 一样通过交互式会话创建一个 package.json yarn init # yarn npm init # npm 跳过会话，直接通过默认值生成 package.json yarn init --yes # 简写 -y npm init -y 添加一个依赖 通过 yarn add 添加依赖会更新 package.json 以及 yarn.
yarn启动项目的命令
最新发布
m0_69057918的博客
11-22 1712
yarn启动项目的常用命令
从gitee下载的用yarn运行的vue项目如何启动
rainbowyx的博客
03-22 6385
【1】如果打开文件看到有yarn-lock则说明是用yarn运行且是用yarn安装依赖的，那先用命令yarn -v看看是否有安装yarn,如果没有安装，则用cmd打开项目文件的根目录 【2】在根目录运行npm install -g yarn 【3】使用命令查看是否安装成功yarn -v 【4】安装成功则用vscode打开项目，然后打开终端，运行yarn install安装项目需要的依赖 【5】用yarn run serve启动项目 ...
yarn启动vue项目
m0_45218136的博客
11-16 9865
yarn运行vue项目，项目安装yarn报错
实验三：熟悉常用的HBase操作
05-05
(2）熟练使用HBase操作常用的 Shell命令。(3）熟悉HBase操作常用的 Java API。 A.3.2 实验平台 （1）操作系统:Linux。 (2）Hadoop 版本:2.7.1或以上版本。（3）HBase版本:1.1.2或以上版本。(4） JDK 版本:1.7或以上...
数据科学导论实验报告 实验2:熟悉常用的HDFS操作
04-30
1. 编程实现以下指定功能，并利用 Hadoop 提供的 Shell 命令完成相同任务： 2. 编程实现一个类“MyFSDataInputStream”，该类继承“org.apache.hadoop.fs.FSDataInputStream”，要求如下：实现按行读取 HDFS 中指定...
Hadoop大数据平台构建、基础环境配置教学课件.pptx
06-21
使用 ip 命令获得master主节点服务器的IP地址、路由、域名服务器等信息。 使用远程终端软件（如：SecureCRT等）远程登录master主节点服务器。 配置好主节点服务器的静态IP地址，如：192.168.128.128。 安装完成之后...
Hadoop3.0安装以及新特性介绍
Xlucas的博客
12-26 1万+
Apache Hadoop 3.0.0在前一个主要发行版本（hadoop-2.x）中包含了许多重要的增强功能 环境安装： 192.168.18.160 CDH1 192.168.18.161 CDH2 192.168.18.162 CDH3 192.168.18.163 CDH41，java8是必须 所有hadoop 的jar都是利用java8的运行时版本进行编译的。依然在使用java7
Mapreduce中context的作用
Xlucas的博客
08-14 9867
在我们写mapreduce的程序时候总会有这么一段代码，这个代码就是map方法的实现，里面有一个参数 context对象，但是这个context对象究竟是干什么的呢？ public void map(Object key, Text value, Context context ) throws IOException, InterruptedExceptio
YARN基本框架和工作流程
Xlucas的博客
12-26 6024
问题 1、YARN的基本组成架构 2、YARN的通信协议 3、YARN工作流程YARN是Hadoop2.0中资源管理系统，它的基本设计思想是将MRV1中的jobtracker拆分成了两个独立的服务：一个全局的资源管理器resourceManager和每个应用程序特有的ApplicationMaster，其中resourceManager负责整个系统的资源管理和分配，而ApplicationMa
JobTracker的概述
Xlucas的博客
09-08 5446
JobTracker涉及的功能包括作业管理、状态监控、任务调度器等， JobTracker主要包含的2个功能：资源管理和作业控制。 每一个应用程序表示一个作业，每个作业又被进一步分成多个任务，而JobTracker的作业控制模块则负责作业的分解和状态监控。 1、JobTracker的概述： 1、1作业控制： JobTracker在其内部以“三层多叉树”的方式描述和跟踪每个作业的运行状态，作
Hadoop心跳机制
Xlucas的博客
09-26 3972
心跳是Jobtracker和Tasktracker的桥梁，它实际上是一个RPC函数，Tasktracker周期性的调用该函数汇报节点和任务状态信息，从而形成心跳。在hadoop中，心跳主要有三个作用： 1、判断Tasktracker是否活着 2、及时让Jobtracker获取各个节点上的资源使用情况和任务运行状态 3、为Tasktracker分配任务 注意：Jobtracker与Tasktr
Map task 内部实现原理和运行机制
Xlucas的博客
10-17 3578
hadoop1.x中，map task分为4种，分别是 job-setup task、job-cleanup task、task-cleanup task和map task。其中，job-setup task 和job-cleanup task分别是作业运行时启动的第一个任务和最后一个任务，主要工作分别是进行一些作业初始化和收尾工作，比如创建和删除作业临时输出目录；而task-cleanup ta
hadoop shell命令大全
10-08
Hadoop提供了一些常用的Shell命令用于管理和操作Hadoop集群。以下是一些常见的Hadoop Shell命令： 1. Hadoop文件系统相关命令： - `hadoop fs -ls <path>`：列出给定路径下的文件和目录。 - `hadoop fs -mkdir <path>`：创建一个新目录。 - `hadoop fs -copyFromLocal <localsrc> <dst>`：将本地文件或目录复制到Hadoop文件系统中的指定目标路径。 - `hadoop fs -copyToLocal <src> <localdst>`：将Hadoop文件系统中的文件或目录复制到本地目标路径。 - `hadoop fs -rm <path>`：删除指定路径的文件或目录。 - `hadoop fs -cat <path>`：显示文件的内容。 - `hadoop fs -get <src> <localdst>`：从Hadoop文件系统中复制文件或目录到本地路径。 - `hadoop fs -put <localsrc> <dst>`：从本地路径复制文件或目录到Hadoop文件系统中。 2. Hadoop作业相关命令： - `hadoop jar <jar> <class>`：运行一个Hadoop作业。 - `hadoop job -list`：列出当前运行的所有Hadoop作业。 - `hadoop job -kill <job-id>`：终止指定的Hadoop作业。 - `hadoop job -status <job-id>`：获取指定Hadoop作业的状态。 - `hadoop job -kill-task <task-id>`：终止指定的Hadoop任务。 - `hadoop job -list-attempt-ids <job-id> <task-id> <type>`：列出指定作业和任务的尝试ID。 3. Hadoop集群管理命令： - `start-all.sh`：启动Hadoop集群中的所有守护进程。 - `stop-all.sh`：停止Hadoop集群中的所有守护进程。 - `hadoop dfsadmin -report`：显示Hadoop集群的文件系统报告。 - `hadoop dfsadmin -safemode [enter|leave|get|wait]`：进入、离开、获取或等待Hadoop安全模式。 以上只是一些常用的Hadoop Shell命令，更多命令请参考Hadoop文档。如果您有任何其他问题，欢迎继续提问！

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值