hadoop

常用端口号

dfs.namenode.http-address: 50070/9870
dfs.datanode.http-address:50075/9864
SecondaryNameNode辅助名称节点端口号：50090/9868
dfs.datanode.address:50010/9866
fs.defaultFS:8020 /9000/9820
yarn.resourcemanager.webapp.address:8088
历史服务器web访问端口：19888

1） 常用端口号

	 hdfs     yarn任务调度  历史服务器   	web客户端访问端口
2.x  50070      8088        19888   	9000/8020 （一般用9000）
3.x  9870       8088 		19888 		9000/8020 （一般用8020）

2）需安装的配置文件

2.x core-site.xml	hdfs-site.xml	yarn-site.xml	mapred-site.xml	slaves
3.x	core-site.xml	hdfs-site.xml	yarn-site.xml	mapred-site.xml	workers

HDFS的Shell操作（开发重点）

-help：输出这个命令参数
	hadoop fs -help rm
=========================================上传=================================
-moveFromLocal：从本地剪切粘贴到HDFS
	hadoop fs  -moveFromLocal  ./kongming.txt  /sanguo/shuguo
-copyFromLocal：从本地文件系统中拷贝文件到HDFS路径去
	hadoop fs -copyFromLocal README.txt /
-appendToFile：追加一个文件到已经存在的文件末尾
	hadoop fs -appendToFile liubei.txt /sanguo/shuguo/kongming.txt
-put：等同于copyFromLocal
	hadoop fs -put ./zaiyiqi.txt /user/atguigu/test/

========================================下载===============================
1）-copyToLocal：从HDFS拷贝到本地
	hadoop fs -copyToLocal /sanguo/shuguo/kongming.txt ./
2）-get：等同于copyToLocal，就是从HDFS下载文件到本地
	hadoop fs -get /sanguo/shuguo/kongming.txt ./
3）-getmerge：合并下载多个文件，比如HDFS的目录 /user/atguigu/test下有多个文件:log.1, log.2,log.3,...
	hadoop fs -getmerge /user/atguigu/test/* ./zaiyiqi.txt
	
====================================HDFS直接操作===============================
10）-du统计文件夹的大小信息
	hadoop fs -du -s -h /user/atguigu/test
	注意 ：-s 显示总文件大小
		   -h 显示各文件的大小。
		   例 ：19  190（该文件所有副本的总大小）  /xiyouji.txt

11）-setrep：设置HDFS中文件的副本数量
	hadoop fs -setrep 10 /sanguo/shuguo/kongming.txt
		
===================================上面的是没见过的================================

1）-ls: 显示目录信息
	hadoop fs -ls /
2）-mkdir：在HDFS上创建目录
	hadoop fs -mkdir -p /sanguo/shuguo
3）-cat：显示文件内容
	hadoop fs -cat /sanguo/shuguo/kongming.txt
4）-chgrp 、-chmod、-chown：Linux文件系统中的用法一样，修改文件所属权限
	hadoop fs  -chmod  666  /sanguo/shuguo/kongming.txt
	hadoop fs  -chown  atguigu:atguigu   /sanguo/shuguo/kongming.txt
5）-cp ：从HDFS的一个路径拷贝到HDFS的另一个路径
	hadoop fs -cp /sanguo/shuguo/kongming.txt /zhuge.txt
6）-mv：在HDFS目录中移动文件
	hadoop fs -mv /zhuge.txt /sanguo/shuguo/
7）-tail：显示一个文件的末尾
	hadoop fs -tail /sanguo/shuguo/kongming.txt
8）-rm：删除文件或文件夹
	hadoop fs -rm /user/atguigu/test/jinlian2.txt
	hadoop fs -rm -r /user/atguigu/test
9）-rmdir：删除空目录
	hadoop fs -rmdir /test