大数据Hadoop之hdfs

以下为Hadoop中hdfs的总结

一、HDFS安装

1. 首先安装jdk1.8+和配置ssh免密登录
2. 解压hadoop安装包
3. 配置Hadoop里八个配置文件hdfs-site.xml、core-site.xml、mapred-site.xml、yarn-site.xml、hadoop-env.sh、yarn-env.sh、mapred-env.sh、slaves
4. 格式化namenode

     二、HDFS写流程

1. 客户端向namenode发送写请求，namenode检查文件目录是否存在，
2. namenode返回是否可以上传
3. 客户端向namenode请求第一个block要上传到哪个datanode
4. namenode返回datenode地址，分别为dn1、dn2、dn3
5. 客户端向dn1发送上传block请求、dn1收到请求会发给dn2、dn2发给dn3
6. dn3返回给dn2、dn2返回给dn1、dn1返回给客户端，可以发送
7. 客户端开始向dn1上传block，同时dn1会逐级同步给dn2、dn3
8. 当第一个block上传完后，客户端再向namenode请求上传第二个block、重复3-7
9. 最后上传完后由dn1返回给客户端，上传结束。

    三、HDFS读流程

1. 客户端向namenode发送读请求，namenode返回datanode地址
2. 挑选一台datanode，下载数据(就近原则)
3. datanode给客户端传输数据
4. 客户端以packet为单位，先本地缓存、再写入磁盘。

   四、HDFS基本shell命令

1. start-dfs.sh启动集群
2. stop-dfs.sh关闭集群
3. start-yarn.sh启动yarn(yarn启动在和namenode不用机器上）
4. stop-yarn.sh
5. hadoop fs -....（基本和linux操作命令相似）

   1. -ls查看目录信息

   2. -mkdir创建目录

   3. -chmod修改目录权限

   4. -put上传到hdfs

   5. -get从hdfs下载到本地

   6. -mv在hdfs里移动文件

   7. -cp在hdfs里复制文件

   8. -rm删除hdfs里的文件

   9. 。。。

   五、常用端口

1）dfs.namenode.http-address:50070

2）SecondaryNameNode辅助名称节点端口号：50090

3）dfs.datanode.address:50010

4）fs.defaultFS:8020 或者9000

5）yarn.resourcemanager.webapp.address:8088

六、HDFS优化

规避小文件，上传的时候就把小文件合成大文件再上传

开启JVM重用