大数据Hadoop的学习笔记--1

认识一下Hadoop

1.单机处理大数据存在问题.具体啥问题?

假设,我现在有个很大很大的一个文本文件,存放了各种的老师名字以及相关作品名及作品简介,那里面的文件行数多得数不清,突然我突发奇想,想找一下这个文件中"结衣"某个作品的某个简介看一下,但是因为数据量太大, 小日子过得不错的岛国人拍得比较多,所以文件量很大很大,让张三去找,他找着找着就崩溃了,太多了,速度简直慢得可怜.
然后我知道了这个岛国的演艺界就那么多人,滴滴叭叭全部加起来放在一个文件夹中假设就1T,张三的查找速度(IO速度)就500M/s,让张三去全部找一遍大约30分钟,于是我便需要把这1T的文件拆开,让张三直接去找对应的演员文件.

2.啥是hadoop?

Hadoop是Apache的一个顶级项目,
Hadoop之父 Doug Cutting


他手里拿着的就是Hadoop,是他儿子玩具的昵称

官网的解释是这样的:

Apache Hadoop软件库是一个框架，允许使用简单的编程模型跨计算机集群分布式处理大型数据集。
它被设计成从单个服务器扩展到数千台机器，每台机器都提供本地计算和存储。
与依赖硬件提供高可用性不同，库本身的设计目的是检测和处理应用层的故障，因此在计算机集群上提供高可用性服务，而每台计算机都可能发生故障。

hadoop的时间简史:

1. Hadoop由 Apache Software Foundation 于 2005 年秋天作为Lucene的子项目Nutch的一部分正式引入。
2. 2006 年 3 月份，Map/Reduce 和 Nutch Distributed File System (NDFS) 分别被纳入称为 Hadoop 的项目中。
3. Cloudera公司在2008年开始提供基于Hadoop的软件和服务。
4. 2016年10月hadoop-2.6.5
5. 2017年12月hadoop-3.0.0
6. hadoop.apache.org

模块:

• Hadoop Common:支持其他Hadoop模块的通用工具。
• Hadoop Distributed File System (HDFS™):分布式文件系统，提供对应用数据的高吞吐量访问。
• Hadoop YARN:一个用于作业调度和集群资源管理的框架。
• Hadoop MapReduce:基于yarn的大数据集并行处理系统,分布式数据处理系统。