hadoop常用命令

1.历史服务器地址:http://192.168.56.102:19888/jobhistory
注意:JobHistoryServer安装在:hadoop102:192.168.56.102;
2.Web端查看HDFS的NameNode:浏览器中输入:http://192.168.56.102:9870 ;查看HDFS上存储的数据信息
注意:hdfs的NameNode安装在hadoop102上
3.Web端查看YARN的ResourceManager;浏览器中输入:http://192.168.56.103:8088 ;查看YARN上运行的Job信息
注意:yarn安装hadoop103上;
=========================
以下开启集群方式,前提已经配置开启集群启动文件;
4.配置集群启动后,hdfs的NameNode安装在hadoop102上,则在hadoop102开启hdfs,开启集群:/opt/module/hadoop-3.1.3/sbin/start-dfs.sh
注意:在安装路径直接开启:start-dfs.sh 启动器;
关闭则反之:/opt/module/hadoop-3.1.3/sbin/stop-yarn.sh
5.配置集群后,yarn安装hadoop103上,则在hadoop103开启yarn,开启:/opt/module/hadoop-3.1.3/sbin/start-yarn.sh
注意:在安装路径直接开启:start-yarn.sh 启动器;
关闭则反之:/opt/module/hadoop-3.1.3/sbin/stop-yarn.sh
========================================
为了方便写了具体shell脚本 myhadoop.sh,前提此脚本必须已经配置了shh无密登录
6.脚本在/home/atigui/bin下
开启集群:/home/atigui/bin/myhadoop.sh start
关闭集群:/home/atigui/bin/myhadoop.sh stop
7.查看集群运行情况,jpsall 就是脚本:/home/atigui/bin/jpsall
============
上传
8.-moveFromLocal:从本地剪切粘贴到HDFS,命令:hadoop fs -moveFromLocal linux系统本地文件 hdfs文件系统路径
例子:hadoop fs  -moveFromLocal  ./shuguo.txt  /sanguo
9.-copyFromLocal:从本地文件系统中拷贝文件到HDFS路径去,命令:hadoop fs -copyFromLocal linux系统本地文件 hdfs文件系统路径
例子:hadoop fs  -copyFromLocal  ./wuguo.txt  /sanguo
10.-put:从本地文件系统中拷贝文件到HDFS路径去,命令:hadoop fs -put  linux系统本地文件 hdfs文件系统路径
例子:hadoop fs -put ./wuguo.txt /sanguo
11.-appendToFile:追加一个文件到已经存在的文件末尾,命令:hadoop fs -appendToFile  linux系统本地文件 hdfs文件系统文件
例子:hadoop fs -appendToFile liubei.txt /sanguo/shuguo.txt
=====================
下载
12.-copyToLocal:从hdfs拷贝到本地,命令:hadoop fs -copyToLocal hdfs文件系统路径文件  linux系统本地路径
例子:hadoop fs -copyToLocal  /sanguo/shuguo.txt  ./
13.-get:从hdfs拷贝到本地,命令:hadoop fs -get hdfs文件系统路径文件  linux系统本地路径
例子:hadoop fs -get  /sanguo/shuguo.txt   ./
=======================
常规操作命令,基本与linux系统一样;
14.-ls:显示目录信息, 命令:hadoop fs -ls hdfs文件系统目录
例子:hadoop fs -ls  /sanguo
15.-cat:显示文件内容,命令:hadoop fs -cat hdfs文件系统文件
例子:hadoop fs -cat /sanguo/shuguo.txt
16.-chmod:修改文件所属权限,命令:hadoop fs -chmod 777 hdfs文件系统文件
例子:hadoop fs -chmod 777 /sanguo/shuguo.txt
18.-mkdir:创建路径,命令:hadoop fs -mkdir hdfs文件新路径
例子:hadoop fs -mkdir /jinguo
19.-cp:从HDFS的一个路径拷贝到HDFS的另一个路径,命令:hadoop fs -cp hdfs文件系统文件 hdfs文件系统路径
例子:hadoop fs -cp /sanguo/shuguo.txt  /jinguo
20.-mv:在HDFS目录中移动剪切文件,命令:hadoop fs -cp hdfs文件系统文件 hdfs文件系统路径
例子:hadoop fs -mv /sanguo/wuguo.txt /jinguo
21.-tail:显示一个文件的末尾1kb的数据,命令:hadoop fs -tail hdfs文件系统文件
例子:hadoop fs -tail /jinguo/shuguo.txt
22.-rm -r:递归删除目录及目录里面内容,命令:hadoop fs -rm -r hdfs文件系统文件夹
例子:hadoop fs -rm -r /sanguo
23.-du:统计文件夹的大小信息,命令:hadoop fs -du  -h  hdfs文件系统文件夹
例子:hadoop fs -du -s -h /jinguo、hadoop fs -du  -h /jinguo
24.-setrep:设置HDFS中文件的副本数量,命令:hadoop fs -setrep 10 hdfs文件系统文件
例子:hadoop fs -setrep 10 /jinguo/shuguo.txt

25.参数优先级:参数优先级排序:(1)客户端代码中设置的值 >(2)ClassPath下的用户自定义配置文件 >(3)然后是服务器的自定义配置(xxx-site.xml) >(4)服务器的默认配置(xxx-default.xml)


 

  • 0
    点赞
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值