hadoop的常用命令

最新推荐文章于 2023-07-17 15:56:01 发布
最新推荐文章于 2023-07-17 15:56:01 发布
阅读量175 收藏
点赞数
分类专栏： 大数据学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u010316188/article/details/79464607
版权

hadoop如果是安全模式，则hdfs只能查看和下载操作，不能做其他操作

[hadoop@hadoop hadoop-2.5.0]$ bin/hdfs dfsadmin -safemode get --查看hadoop是否是安全状态
[hadoop@hadoop hadoop-2.5.0]$ bin/hdfs dfsadmin -safemode enter --设置安全模式
[hadoop@hadoop hadoop-2.5.0]$ bin/hdfs dfsadmin -safemode leave -- 离开安全模式
[hadoop@hadoop hadoop-2.5.0]$ sbin/start-dfs.sh  --启动namenode和datanode和SecondaryNameNode
[hadoop@hadoop hadoop-2.5.0]$ sbin/start-yarn.sh  --启动ResourceManager和NodeManager节点
[hadoop@hadoop hadoop-2.5.0]$ bin/hdfs dfs -rm -r  /mapReduce/output4 --删除非空文件夹
[hadoop@learn hadoop]$ scp -r * learn.hadoop3.com:/opt/moduels/hadoop-2.5.0/etc/hadoop --scp到另外一台服务器
[hadoop@learn hadoop-2.5.0]$ bin/hdfs namenode -format --格式化
[hadoop@learn hadoop-2.5.0]$ sbin/hadoop-daemon.sh start namenode --启动namenode节点
[hadoop@learn hadoop-2.5.0]$ sbin/hadoop-daemon.sh  start datanode --启动datanode节点
[hadoop@learn hadoop-2.5.0]$ sbin/yarn-daemon.sh start resourcemanager --启动resourcemanager节点
[hadoop@learn hadoop-2.5.0]$ sbin/yarn-daemon.sh start nodemanager --启动nodemanager
[hadoop@learn hadoop-2.5.0]$ sbin/hadoop-daemon.sh secondarynamenode --启动第二节点
[hadoop@hadoop hadoop-2.5.0]$ sbin/mr-jobhistory-daemon.sh  start historyserver --启动历史服务


System.setProperty("hadoop.home.dir", "D:\\soft\\hadoop-2.5.0");--可以通过程序指定hadoo的环境变量


madman1990
关注
专栏目录
Hadoop shell
royesir的专栏
07-19 1237
<br /><br />1 Hadoop shell<br />1.1 引言<br />调用文件系统(FS)Shell命令应使用 bin/hadoop fs <args>的形式。 所有的的FS shell命令使用URI路径作为参数。URI格式是scheme://authority/path。对HDFS文件系统，scheme是hdfs，对本地文件系统，scheme是file。其中scheme和authority参数都是可选的，如果未加指定，就会使用配置中指定的默认scheme。一个HDFS文件或目录比如/pa
hadoop常用命令
热门推荐
陌涂
08-13 5万+
环境配置参考链接： https://blog.csdn.net/u011596455/article/details/53115410 一、hadoop所在目录 cd usr/local/hadoop 二、启动hadoop bash ./starth.sh % 运行start-dfs.sh % 运行start-yarn.sh 启动dfs，浏览器查看： 17...
Hadoop常用命令
weixin_47046791的博客
06-14 3201
hdfs dfs -copyFromLocal /local/data/file.txt /hadoop/data :将本地文件上传到hdfs上(原路径只能是一个文件)hadoop dfs -put /local/*.txt /hadoop/path/ :put和 copyFromLocal 区别是，put 原路径可以是文件夹等。hadoop dfs -put -f /local/*.txt /hadoop/path/ :-f 含义是表示强制覆益。
Hadoop一些常用的命令
依旧的博客
11-19 4038
1、Hadoop常用命令 hadoop verion //版本 hadoop fs //文件系统客户端. hadoop jar hadoop classpath //查看hadoop类路径 hadoop checknative //检查压缩库本地安装情况 ...
Hadoop常用命令大全
qq_18522601的博客
07-20 477
1. 单独启动和关闭hadoop服务 功能 命令 启动名称节点 hadoop-daemon.sh start namenode 启动数据节点 hadoop-daemons.sh start datanode slave 启动secondarynamenode hadoop-daemon.sh start secondarynamenode 启动resour...
Hadoop常用命令.pdf
07-02
> hadoop jar test-1.0-SNAPSHOT-jar-with-dependencies.jar /user/test/input /user/test/out 2.运行Jar包指定类中的主函数 > java -cp test-1.0-SNAPSHOT-jar-with-dependencies.jar com.test.main.MainTest
Hadoop学习笔记之常用命令
xunming的专栏
10-27 1611
Hdfs命令 Hadoop命令 Hbase命令 实际应用 其他命令 其他 Hdfs命令 hdfs dfs -cat /urlba/url/url.txt|tail -5 后5行 hdfs dfs -cat /urlba/url/url.txt|head -5 前5行 hdfs dfs -cat /urlba/url/url.txt| shuf -n 5 随机5行。 hdfs...
hadoop基本操作命令小结
非同凡想
12-19 7507
eclipse hadoop开发环境配置已经搞定，接下来就是开发hadoop程序了。但在这之前熟悉下hadoop的基本操作命令非常有必要，以下就先简单的小结下： 启动和关闭Hadoop 启动Hadoop 1.进入HADOOP_HOME目录。 2.执行bin/start-all.sh 关闭Hadoop 1.进入HADOOP_HOME目录。 2.执行bin/stop-all.
Hadoop基本命令
Java201314zt的博客
03-30 440
Hadoop查看块信息和文件名： hadoop fsck -blocks -files查看系统是否处于安全模式： hadoop dfsadmin -safemode get进入安全模式： hadoop dfsadmin -safemode enter离开安全模式： hadoop dfsadmin -safemode leave在执行某个脚本前先退出安全模式：hadoop dfsadmin -saf...
Hadoop基本命令（记一次Hadoop课后实验）
淮城一只猫
04-06 5552
实验平台： 操作系统：Centos7 Hadoop 版本：2.10.0 JDK 版本：8 实验目的 l理解 HDFS 在 Hadoop 体系结构中的角色 熟练使用 HDFS 操作常用的 Shell 命令； 熟悉 HDFS 操作常用的 Java API 实验内容 一：编程实现以下功能，并利用Hadoop提供的Shell命令完成相同任务： 1.向HDFS中上传任意文本文件，如果指定的文件在HD...
hadoop命令大全(完整)
weixin_44441131的博客
05-11 2万+
hdfs常用命令： 文章目录1. hdfs文件系统命令1.1 文件路径增删改查系列：1.2 空间大小查看系列命令：1.3 权限管理类：1.4 文件操作（上传下载复制）系列：1.5 判断系列：1.6 系统功能管理类：2. 运维命令3. mapreduce命令4. hdfs系统检查工具fsck5. 运行pipies作业 1. hdfs文件系统命令 1.1 文件路径增删改查系列： hdfs dfs -mkdir dir 创建文件夹 hdfs dfs -rmr dir 删除文件夹dir hdfs dfs -ls
Hadoop命令总结
小强签名设计 的博客
08-20 4291
文章目录一、hadoop fs命令二、yarn相关命令 一、hadoop fs命令 查看文件内容，配合more：hadoop fs -cat /in/hadoop-hadoop-namenode-h71.log | more 统计hdfs中文件的行数：hadoop fs -cat /in/hadoop-hadoop-namenode-h71.log | wc -l 输出：16509 查看hdfs中文件的前n行：hadoop fs -text file | head -n 100 查看hdfs中文件的后n行
Hadoop命令大全
m0_57376367的博客
10-11 4288
hadoop fs -count [-h] (-h 参数使用便于操作人员读取单位信息格式)- hadoop fs 可操作任意文件系统，不仅仅是hdfs文件系统，使用范围更广。5.count：命令用于统计指定目录下的目录数、文件数、字节数。4.-df：统计文件系统的容量、可用空间和已用空间信息。- hdfs dfs 只能操作HDFS文件系统。-copyToLocal：从HDFS拷贝到本地。：追加一个文件到已经存在的文件末尾。目录中移动文件（注意区别-get）的另一个路径（注意区别-put）
hadoop命令大全
最新发布
顺其自然~专栏
07-17 4441
hdfs dfs -mkdir dir 创建文件夹hdfs dfs -rmr dir 删除文件夹dirhdfs dfs -ls 查看目录文件信息hdfs dfs -lsr 递归查看文件目录信息hdfs dfs -stat path 返回指定路径的信息。
hadoop常用命令汇总
zhglance的专栏
04-04 4895
1、查看目录下的文件列表：hadoop fs –ls [文件目录]hadoop fs -ls -h /lance 2、将本机文件夹存储至hadoop上：hadoop fs –put [本机目录] [hadoop目录] hadoop fs -put lance / 3、在hadoop指定目录内创建新目录：hadoop fs –mkdir [目录] hadoop fs -mkdir /lance4、在...
hadoop基本命令
weixin_34007291的博客
05-14 1132
1.start-all.sh开启线程 hadoop fs -ls hdfs://cloud4:9000/user (cloud4表示主机名 9000代表端口号 /就代表根目录 /user就是user文件夹) hadoop fs -ls /user（hdfs://cloud4:9000可省略） 2. -ls/-lsr 查看目录下的文件信息   hadoop fs -ls /  查看根目录...
Hadoop常用命令详解与实战指南
本文档详尽介绍了Hadoop生态系统中的关键命令，对于Hadoop开发人员和运维人员来说，这些命令是日常操作和问题排查的基础。 1. **列出所有HadoopShell支持的命令**： `$bin/hadoopfs-help` 是一个重要的命令，它会...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值