Hadoop系统入门之分布式文件系统HDFS

HDFS概述:
1)分布式
2)commodity hardware
3)fault-tolerant 容错
4)high throughput
5)large data sets

HDFS是一个分布式的文件系统

文件系统：Linux,windows,Mac…

普通文件系统 vs 分布式文件系统
	  单机。
	 分布式文件系统能够横跨N个机器。

HDFS前提和设计目标:
	Hardware Failuer 硬件错误
	每个机器只存放在不同的机器上的，由于容错，HDFS默认采用3副本机制。
	Streaming Data Access 流式数据访问。
		The emphasis is on high throughput of data access rather than low latency of data access.
	Large Data Sets 大规模数据集
	Moving Computation is Cheaper than Moving Data
	移动计算比移动数据更划算。

Linux命令说明:
mkdir software 存放课程所使用的软件安装包。
mkdir app 存放课程所有软件的安装目录。
mkdir data 存放课程中使用的数据
mkdir lib 存放课程中开发过的作业jar存放的目录。
mkdir shell 存放课程中相关的脚本。
mkdir maven_resp 存放课程中使用到的maven依赖包存放的目录。

Hadoop环境搭建
使用的Hadoop相关版本: CDH
CDH相关软件包下载地址: http://archive.cloudera.com/cdh5/cdh/5/

Hadoop下载:

使用Linux/Mac学习
一定不要使用Windows搭建Hadoop环境
所以Linux基础是要会的 *****

Hadoop安装前置要求:
Java 1.8+
ssh

安装java
拷贝本地软件包到服务器:

解压jdk到~/app/:

把jdk配置系统环境变量中: ~/.bash_profile

使得配置修改生效: source .bash_profile
验证： java -version

拷贝本地软件包到服务器:


Hadoop(HDFS)安装
下载
解压: ~/app
添加HADOOP_HOME/bin到系统环境变量
修改Hadoop配置文件

修改Hadoop配置文件:
	hadoop-env.sh
	
启动HDFS:
	第一次执行的时候一定要格式化文件系统，不要重复执行: hdfs name
	启动集群: $HADOOP_HOME/sbin/start-dfs.sh

Hdfs namenode -fromat
http://192.168.199.233:50070
如果发现jps ok,但是浏览器不OK？十有八九是防火墙问题。
查看防火墙状态: sudo firewall-cmd --state
关闭防火墙: sudo systemctl stop firewalld.service

hadoop软件包常见目录说明:
bin: hadoop客户端名单
etc/hadoop： hadoop相关的配置文件存放目录
sbin:启动hadoop相关进程的脚本。
share: 常用例子

HDFS存储扩展:
put: 1file==>1…n block==>存放在不同的节点上的。
get: 去nn上查找这个file对应的元数据信息。
了解底层的存储机制这才是我们真正要学习的东西，掌握API那是毛毛雨。

使用HDFS API的方式来操作HDFS文件系统:
IDEA/Eclopese
Java
使用Maven来管理项目
拷贝jar包。
我的所有课程都是使用maven来进行管理的。


HDFS的元素管理:
元数据:HDFS的目录结构以及每个文件的BLOCK信息(id,副本系数,block存放在哪个DN上)