学习大数据hadoop的第五天

一、根据之前四天的学习做两个小练习
1、创建一个文件，利用shell脚本输出文件中的内容，然后进行每分钟监控
1、创建dashuju.sh文件

[root@zww home]#touch dashuju.sh

2、输入内容

[root@zww home]# vi dashuju.sh

#!/bin/bash
echo "大数据一班" >> /home/dashuju.txt

3、执行追加脚本

[root@zww home]# crontab -e

* * * * * sh /home/dashuju.sh

4、在另一个窗口监控/home/dashuju.txt

[root@zww home]# tail -F dashuju.txt

5、结果

6、执行过程分析：
当第三步执行完之后，定时任务就开启了。另一个xshell窗口监控，执行第四步
2、用xshell做99乘法表
1、创建dashuju.sh文件

[root@zww home]#touch a.sh

2、输入内容

[root@zww home]# vi a.sh

for((i=1;i<=9;i++))
do
  for((j=1;j<=i;j++))
   do
   echo -ne "$j*$i=$[$j*$i]\t"
   done
   echo
done

3、执行：

[root@zww home]# sh a.sh

4、结果

二、HDFS基本知识
1. HDFS前言
将大文件、大批量文件，分布式存放在大量服务器上，以便于采取分而治之的方式对海量数据进行运算分析；HDFS中的文件在物理上是分块存储（block），块的大小可以通过配置参数( dfs.blocksize)来规定，默认大小在hadoop2.x版本中是128M，老版本中是64M
2、HDFS的shell(命令行客户端)操作
-help
功能：输出这个命令参数手册

** -ls**
功能：显示目录信息
示例： hadoop fs -ls hdfs://hadoop-server01:9000/
备注：这些参数中，所有的hdfs路径都可以简写
–>hadoop fs -ls / 等同于上一条命令的效果

** -mkdir **
功能：在hdfs上创建目录
示例：hadoop fs -mkdir -p /aaa/bbb/cc/dd

-moveFromLocal
功能：从本地剪切粘贴到hdfs
示例：hadoop fs -moveFromLocal /home/a.txt /aaa/bbb/cc/dd

-moveToLocal
功能：从hdfs剪切粘贴到本地
示例：hadoop fs -moveToLocal /aaa/bbb/cc/dd /home/a.txt
提示：moveToLocal: Option ‘-moveToLocal’ is not implemented yet.

–appendToFile
功能：追加一个文件到已经存在的文件末尾
示例：hadoop fs -appendToFile ./hello.txt hdfs://hadoop-server01:9000/hello.txt
可以简写为：
Hadoop fs -appendToFile ./hello.txt /hello.txt

-cat
功能：显示文件内容
示例：hadoop fs -cat /hello.txt

-tail
功能：显示一个文件的末尾
示例：hadoop fs -tail /weblog/access_log.1

-text
功能：以字符形式打印一个文件的内容
示例：hadoop fs -text /weblog/access_log.1

-chgrp
-chmod
-chown
功能：linux文件系统中的用法一样，对文件所属权限
示例：
hadoop fs -chmod 666 /hello.txt
hadoop fs -chown someuser:somegrp /hello.txt

-copyFromLocal
功能：从本地文件系统中拷贝文件到hdfs路径去
示例：hadoop fs -copyFromLocal ./jdk.tar.gz /aaa/

-copyToLocal
功能：从hdfs拷贝到本地
示例：hadoop fs -copyToLocal /aaa/jdk.tar.gz

-cp
功能：从hdfs的一个路径拷贝hdfs的另一个路径
示例： hadoop fs -cp /aaa/jdk.tar.gz /bbb/jdk.tar.gz.2

-mv
功能：在hdfs目录中移动文件
示例： hadoop fs -mv /aaa/jdk.tar.gz /

-get
功能：等同于copyToLocal，就是从hdfs下载文件到本地
示例：hadoop fs -get /aaa/jdk.tar.gz
功能：合并下载多个文件
示例：比getmerge 如hdfs的目录 /aaa/下有多个文件:log.1, log.2,log.3,…
hadoop fs -getmerge /aaa/log.* ./log.sum

-put
功能：等同于copyFromLocal
示例：hadoop fs -put /aaa/jdk.tar.gz /bbb/jdk.tar.gz.2

-rm
功能：删除文件或文件夹
示例：hadoop fs -rm -r /aaa/bbb/

-rmdir
功能：删除空目录
示例：hadoop fs -rmdir /aaa/bbb/ccc

-df
功能：统计文件系统的可用空间信息
示例：hadoop fs -df -h /

-du
功能：统计文件夹的大小信息
示例：
hadoop fs -du -s -h /aaa/*

-count
功能：统计一个指定目录下的文件节点数量
示例：hadoop fs -count /aaa/

-setrep
功能：设置hdfs中文件的副本数量
示例：hadoop fs -setrep 3 /aaa/jdk.tar.gz
三、HDFS原理篇

1. HDFS集群分为两大角色：NameNode、DataNode (Secondary Namenode)
2. NameNode负责管理整个文件系统的元数据
3. DataNode 负责管理用户的文件数据块
4. 文件会按照固定的大小（blocksize）切成若干块后分布式存储在若干台datanode上
5. 每一个文件块可以有多个副本，并存放在不同的datanode上
6. Datanode会定期向Namenode汇报自身所保存的文件block信息，而namenode则会负责保持文件的副本数量
7. HDFS的内部工作机制对客户端保持透明，客户端请求访问HDFS都是通过向namenode申请来进行
   8.详细步骤图
   
   详细步骤解析
   1、根namenode通信请求上传文件，namenode检查目标文件是否已存在，父目录是否存在
   2、namenode返回是否可以上传
   3、client请求第一个 block该传输到哪些datanode服务器上
   4、namenode返回3个datanode服务器ABC
   5、client请求3台dn中的一台A上传数据（本质上是一个RPC调用，建立pipeline），A收到请求会继续调用B，然后B调用C，将真个pipeline建立完成，逐级返回客户端
   6、client开始往A上传第一个block（先从磁盘读取数据放到一个本地内存缓存），以packet为单位，A收到一个packet就会传给B，B传给C；A每传一个packet会放入一个应答队列等待应答
   7、当一个block传输完成之后，client再次请求namenode上传第二个block的服务器。
   HDFS读数据流程
   
   详细步骤解析
   1、跟namenode通信查询元数据，找到文件块所在的datanode服务器
   2、挑选一台datanode（就近原则，然后随机）服务器，请求建立socket流
   3、datanode开始发送数据（从磁盘里面读取数据放入流，以packet为单位来做校验）
   4、客户端以packet为单位接收，现在本地缓存，然后写入目标文件
   四、NAMENODE工作机制
   问题场景：
   1、集群启动后，可以查看目录，但是上传文件时报错，打开web页面可看到namenode正处于safemode状态，怎么处理？
   解释：
   safemode是namenode的一种状态（active/standby/safemode安全模式）
   namenode进入安全模式的原理：
   a、namenode发现集群中的block丢失率达到一定比例时（0.01%），namenode就会进入安全模式，在安全模式下，客户端不能对任何数据进行操作，只能查看元数据信息（比如ls/mkdir）
   b、如何退出安全模式？
   找到问题所在，进行修复（比如修复宕机的datanode）
   或者可以手动强行退出安全模式（没有真正解决问题）： hdfs namenode --safemode leave
   c、在hdfs集群正常冷启动时，namenode也会在safemode状态下维持相当长的一段时间，此时你不需要去理会，等待它自动退出安全模式即可
   (原理：
   namenode的内存元数据中，包含文件路径、副本数、blockid，及每一个block所在datanode的信息，而fsimage中，不包含block所在的datanode信息，那么，当namenode冷启动时，此时内存中的元数据只能从fsimage中加载而来，从而就没有block所在的datanode信息——>就会导致namenode认为所有的block都已经丢失——>进入安全模式——>datanode启动后，会定期向namenode汇报自身所持有的blockid信息，——>随着datanode陆续启动，从而陆续汇报block信息，namenode就会将内存元数据中的block所在datanode信息补全更新——>找到了所有block的位置，从而自动退出安全模式)
   2、Namenode服务器的磁盘故障导致namenode宕机，如何挽救集群及数据？
   3、Namenode是否可以有多个？namenode内存要配置多大？namenode跟集群数据存储能力有关系吗？
   4、文件的blocksize究竟调大好还是调小好？–结合mapreduce
   ……
   诸如此类问题的回答，都需要基于对namenode自身的工作原理的深刻理解