大数据(一)---------大数据基本概念和HDFS内部机制

1.大数据基本概念

大数据：短时间快速产生大量多种多样的有价值的信息

当前大数据的几个热门技术：HDFS、MapReduce、HBase是在谷歌三大论文的基础上产生的。

GFS------------HDFS分布式文件系统   MapReduce---------MapReduce分布式的处理    BigData-------HBase分布式，面向列的数据库

大数据目前有两大生态圈：Hadoop和Spark

Hadoop：HDFS、yarn(资源和任务调度)、MapReduce(批处理)；

Spark：spark core、sparkSQL(可以使用sql处理)、sparkStreaming(流式处理)、mllib(机器学习库)、graphx(spark停止维护)；

以上的东西无法单独完成需求，还需要和kafka(高吞吐量的分布式发布订阅消息系统)、zookeeper(协调服务)、flume(日志收集系统)、hive(数据仓库)等技术相互配合。

2.HDFS内部机制

HDFS主从架构：              读/存文件----->HDFS的读写机制，备份--->解决数据安全问题
     班长------主节点(Namenode)
     成员------从节点(Datanode)
     秘书-----client

HDFS块(block)的机制：

①HDFS以块(block)来将大文件进行存储，hadoop1.X中，一个文件块的默认大小为64M；hadoop2.X中，一个文件块的默认大小为128M。

②文件现行切割成块(block)，偏移量offset(byte)--->也是坐标，相当于数组里面的下标；

③block分散存储在集群节点中(保障数据安全性)；

④单一文件block大小一致(block块的大小是最开始就设置好的，一个文件被分成的每个块的大小都是一样的)，文件与文件可以不一致；

⑤block可以设置副本数，副本分散在不同节点中，副本数不要超过节点数量(副本机制也保障了数据安全，如果副本数超过节点数，该节点崩掉的时候，不论该节点有几个副本，都没有任何作用)；

⑥文件上传可以设置block大小和副本数；

⑦已上传的文件block副本数可以调整，大小不变；

⑧只支持一次写入多次读取，同一时刻只有一个写入者；

主从节点的职责：

Namenode(老板)：1.掌控全局，管理从节点的信息，管理元数据------->元数据(描述数据的数据)、源数据(真正的数据)

                                2.接受秘书的请求，读写

                                3.与从节点之间进行相应的通信

Datanode(员工)：1.干活的------>存储数据

                             2.汇报自己的情况

                             3.接受秘书的安排

读写的具体机制：

写操作：

1.有一个大文件

2.client会将大文件进行切块，大文件的大小/128M=block块数

3.向主节点汇报：块数、文件大小、文件权限、文件属主、文件的上传时间

4.client切下一块128M

5.client会向主节点去申请资源

6.主节点会返回一批负载不高的从节点给client

7.client会向从节点发送block并且做好备份

8.从节点存放block块之后会向主节点汇报情况

读请求：

1.client会向主节点发送一个请求，主节点接收到请求之后，会向client发送一些节点信息

2.client获取到节点信息之后去从节点上拿取数据-----遵循就近原则

备份机制：

1.集群内提交------->在提交的节点上放置block

   集群外提交------->选择一个负载不高的节点进行存放

2.放置在与第一个备份不同机架的任意节点上(数据安全策略)

3.放置在第二个机架的不同节点上

pipeline管道：

1.主节点返回给client一些从节点的信息

2.client会和这些从节点形成一个管道。并且将block切割成一个个ackPackage(64K，相比block块，更易于存储)

3.从节点会从管道拿取相应的数据进行存储

4.当存储完成后，从节点会向主节点进行汇报