Hadoop,HDFS以及大数据的一些概念

大数据
是指数据量庞大, 产生速度快,结构多样,但是价值密度第的数据, 其中数据庞大到超出了几台高性能主机的处理范围. 大数据处理的目的就是从价值密度低的数据里把有价值的数据过滤分析出来.
HDFS
Hadoop是一个用于分布式大数据处理的变成框架,
Hadoop分布式文件系统(Hdfs)被设计成适合运行在通用硬件上的分布式文件系统.
随着数据量越来越大, 在一个操作系统关系啊的范围存储不下, 那么久分配到更多的操作系统管理的磁盘中, 但是不方便管理和维护, 迫切需要一种系统来管理多台机器上的文件 , 这就是分布式文件系统.
分布式文件系统就是一种允许文件通过网络在多台主机上分享的文件的系统, 可以让多台机器上的用户分享文件和存储空间. 分布式文件管理系统有很多, HDFS使用一次写入, 多次查询的情况, 不支持并发写情况, 小文件不合适, 因为小文件也占用一个块, 小文件越多, NameNode的压力也就越大
Hsdoop的构造模块:
1.NameNode
2.DataNode
3.Secondary NameNode
4. JobTracker
5. TaskTracker
Hadoop集群中的节点分为两类: 主节点和从及节点; NameNode , JobTracker所在节点为主节点 ( 负责管理 ) , DataNode和TaskTracker所在的节点为从节点 ( 负责干活 )

    NameNode : 管理文件系统的命名空间, 他维护着文件系统树及整棵树内所有的文件和目录.  这些信息以两个文件形式永久保存在本地磁盘上; 命名空间镜像文件和编辑日志文件.  NameNode 也记录着每个文件中呵呵块所在的数据节点信息, 但是他不会永久保存块的位置信息,  因为这些信息在系统启动时由数据节点重建.

    DataNode : 实际上管理很多N阿么Node 分配给他的数据块, 当有文件变动时会通知NameNode, 同时也从NameNode接收指令, 一个额集群中有多个DataNode节点,DataNode之间也保持着练习, 复制冗余的文件块, 这样当一个DataNode 出现故障后不会影响到文件的完整性

    Secondary NameNode: 至于NameNode同心, 定时获取hdfs元数据的快照,. 一个集群只有一个Secondary NameNode, 并且Secondary NameNode 所在的节点只运行Secondary NameNode守护进程, 不干其他的事情, 当 NameNode出现故障时, 可以人工启用Secondary NameNode作为 NameNode

    JobTracker:  JobTracker 负责分配MapReduce任务给TaskTracker, 负责监控任务的执行,  如果任务失败后重启任务. JobTracker守护进程运行在主节点上, 通常该 节点不运行DataNode和TaskTracker守护进程

    TaskTracker: TaskTracker负责完成JobTracker分噢诶的任务和TaskTracker进行通信, 汇报情况 . TaskTracker守护进程运行在多个子节点上
                        ![工作流程](https://img-blog.csdn.net/20180129190010838?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvd2VpeGluXzM5Mjk3MzEy/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/SouthEast)

    **Mapreduce**
        是一个分布式运算程序的变成框架, 是用户开发  给予hadoop的数据分析应用的核心框架;
        Mapreduce 黑心功能是将用户编写的业务逻辑代码和自带的默认组件 整合后才能一个完整的分布式运算, 并发运行在一个hadoop集群上,
        **为什么需要Mapreduce**
        1. 海量数据在单机上处理是因为硬件资源限制, 无法胜任,
        2. 如果将单机版程序扩展到集群分布式运行, 将极大增加程序的复杂度和开发难度
        3. 引入Mapreduce 框架之后,  开发人员可以将绝大部分的工作集中在业务逻辑的开发, 而将分布式计算中的复杂性交由框架来处理