1-hadoop概述与hdfs介绍

hadoop

hadoop是什么

hadoop是一个分布式系统基础架构，最擅长做海量日志分析，其各个部分用于解决的问题分别是：

HDFS：海量数据存储

MapReduce：海量数据的分析

YARN：资源管理调度

Hadoop三大发行版本

Hadoop三大发行版本：Apache、Cloudera、Hortonworks。

Apache版本最原始（最基础）的版本，对于入门学习最好。

Cloudera在大型互联网企业中用的较多。

Hortonworks文档较好

hadoop的优势

HDPF

HDFS产生背景

​ 随着数据量越来越大，在一个操作系统存不下所有的数据，那么就分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，迫切需要一种系统来管理多台机器上的文件，这就是分布式文件管理系统。HDFS只是分布式文件管理系统中的一种。

HDFS定义

​ HDFS (Hadoop Distributed File System)，它是一个文件系统，用于存储文件，通过目录树来定位文件;其次，它是分布式的，由很多服务器联合起来实现其功能，集群中的服务器有各自的角色。
​ HDFS的使用场景:适合一次写入，多次读出的场景，且不支持文件的修改。

HDFS优缺点

优点

1)高容错性
(1)数据自动保存多个副本。它通过增加副本的形式,提高容错性。

(2) 某一个副本丢失以后，它可以自动恢复。

2)适合处理大数据
(1)数据规模:能够处理数据规模达到GB、TB、 甚至PB级别的数据;
(2)文件规模:能够处理百万规模以上的文件数量，数量相当之大。
3)可构建在廉价机器上，通过多副本机制，提高可靠性。

缺点

1)不适合低延时数据访问，比如毫秒级的存储数据，是做不到的。
2)无法高效的对大量小文件进行存储。
(1) 存储大量小文件的话，它会占用NameNode大量的内存来存储文件目录和块信息。这样是不可取的，因为Name Node的内存总是有限的;
(2)小文件存储的寻址时间会超过读取时间，它违反了HDFS的设计目标。
3)不支持并发写入、文件随机修改。
(1)一个文件只能有一一个写，不允许多个线程同时写;
(2)仅支持数据append (追加)，不支持文件的随机修改。

HDFS组成架构

​ 往服务器上写数据时，不是直接把数据放到机子上，而是把整块数据切成很多个小块，每台机器上可以存相同的数据块，这就保证了集群存储和副本保存。客户端访问时，多个服务器还可以并发的为一个客户端服务。

1) NameNode (mn) :就是Master,它是一个主管、管理者。
(1)管理HDFS的名称空间;
(2)配置副本策略;
(3)管理数据块(Block) 映射信息;
(4)处理客户端读写请求。
2) DataNode: 就是Slave。NameNode下达命令，DataNode执行实际的操作。
(1)存储实际的数据块;
(2)执行数据块的读写操作。

3) Client: 就是客户端。
(1)文件切分。文件上传HDFS的时候， Client将文件切分成一 个一个的Block, 然后进行上传;
(2)与NameNode交互，获取文件的位置信息;
(3)与DataNode交互，读取或者写入数据;
(4) Client提供一 些命 令来管理HDFS，比如NaneNode格式化;
(5) Client可以通过一些命 令来访问HDFS，比如对HDFS增删查改操作;
4) Secondary NameNode:并非NameNode的热备份。当NameNode挂掉的时候， 它并不能马上替换NameNode并提供服务。
(1)辅助NameNode，分担其工作量，比如定期合并Fsimage和Edits, 并推送给NameNode ;
(2)在紧急情况下，可辅助恢复NameNode。

HDFS文件块的大小

hadoop配置

以下的配置只是简单介绍各个节点配置的方法和原因，真正配置请见之前的大数据集群搭建文档

免密登录

.ssh文件夹下（~/.ssh）的文件功能解释

known_hosts	记录ssh访问过计算机的公钥(public key)
id_rsa	生成的私钥
id_rsa.pub	生成的公钥
authorized_keys	存放授权过得无密登录服务器公钥

hdfs-site.xml

<configuration>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>/root/tmp/name</value>
        <description>为了保证元数据的安全一般配置多个不同目录</description>
	</property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>/root/tmp/data</value>
        <description>datanode 的数据存储目录</description>
    </property>
    <property>
        <name>dfs.replication</name></