大数据学习笔记二--hadoop简介

Hadoop 是一个适合大数据的分布式存储和计算平台。
狭义：Hadoop就是一个框架平台
广义：p代表大数据的一个技术生态圈，包括很多其他软件框架
Hadoop特点：
扩容能力：在计算机集群内分配数据并完成计算任务，集群可以扩展到超多节点
低成本:可以通过普通机器组成服务器集群来分发处理数据
高效率：可以在节点之间动态并行的移动数据，速度提升
可靠性：能自动维护数据的多份复制，在任务失败后能自动的重新部署，并计算任务
版本：
Apache Hadoop 原始版本
优点：开源免费，拥有开源的贡献，代码更新版本快
缺点：版本的升级，版本的维护和兼容性，学习非常方便
软件收费版本ClouderaManager CDH版本 --生产环境使用（建议使用版本）
免费开源版本HortonWorks HDP版本–生产环境使用
版本的迭代
从2.x开始引入yarn平台等特性
3.x有了EC技术，yarn的时间轴服务等特性
hadoop的优缺点
优点：
存储和处理数据能力的高可靠性
通过可用的计算机集群分配数据，完成存储和计算任务，这些集群可以方便的扩展超多节点，具有高扩展性
能够在节点之间进行动态的移动数据，并保证各个节点的动态平衡，处理的速度快，具有高效性
能够自动保存数据的多个副本，能够自动将失败的任务重新分配，具有高容错性
缺点：
不适用低延迟数据访问，（不能快速访问，查询）
不能高效存储大量小文件（小文件浪费空间）
不支持多用户写入并任意修改文件
文章内容输出来源：拉钩教育大数据训练营