大数据Hadoop技术的发展历史与未来前景

版权声明:本文为博主原创文章,遵循 CC 4.0 by-sa 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/weixin_43346716/article/details/88251773

大数据概念火了又火,但是好多人对大数据的概念却一知半解,今天主要来细说下Hadoop:

1.Hadoop是什么

1)Hadoop是一个由Apache基金会所开发的分布式系统基础架构

2)主要解决,海量数据的存储和海量数据的分析问题。

3)广义上来说,HADOOP通常是指一个更广泛的概念——HADOOP生态圈

2.Hadoop发展历史

1)Lucene–DougCutting开创的开源软件,用java书写代码,实现与Google类似的全文搜索功能,它提供了全文检索引擎的架构,包括完整的查询引擎和索引引擎

2)2001年年底成为apache基金会的一个子项目

3)对于大数量的场景,Lucene面对与Google同样的困难

4)学习和模仿Google解决这些问题的办法:微型版Nutch

5)可以说Google是hadoop的思想之源(Google在大数据方面的三篇论文)

GFS—>HDFS

Map-Reduce—>MR

BigTable—>Hbase

6)2003-2004年,Google公开了部分GFS和Mapreduce思想的细节,以此为基础DougCutting等人用了2年业余时间实现了DFS和Mapreduce机制,使Nutch性能飙升

7)2005年Hadoop作为Lucene的子项目Nutch的一部分正式引入Apache基金会。2006年3月份,Map-Reduce和NutchDistributedFileSystem(NDFS)分别被纳入称为Hadoop的项目中

8)名字来源于DougCutting儿子的玩具大象

9)Hadoop就此诞生并迅速发展,标志这云计算时代来临

3.Hadoop的优势

1)高可靠性—因为Hadoop假设计算元素和存储会出现故障,因为它维护多个工作数据副本,在出现故障时可以对失败的节点重新分布处理

2)高扩展性—在集群间分配任务数据,可方便的扩展数以千计的节点

3)高效性—在MapReduce的思想下,Hadoop是并行工作的,以加快任务处理速度

4)高容错性—自动保存多份副本数据,并且能够自动将失败的任务重新分配

4.Hadoop的发展趋势及前景

由于Hadoop优势突出,基于Hadoop的应用已经遍地开花,尤其是在互联网领域。

(1)Yahoo:通过集群运行Hadoop,以支持广告系统和Web搜索

(2)FaceBook:(Hive贡献者)借助Hadoop来支持其数据分析和机器学习

(3)淘宝:国内使用Hadoop最深入的公司,整个淘宝和阿里都是数据驱动的

(4)华为:云计算平台

(5)优酷:日志分析、推荐等

(6)奇虎360:存储软件管家中的软件,日志分析和数据挖掘

(7)百度:国内使用Hadoop最早的公司,存储、日志分析、推荐、机器学习等

Hadoop目前已经取得了非常突出的成绩,随着互联网的发展和新业务模式的不断涌现,其应用已经从互联网走向了电子商务、旅游、房产、保险、金融、电信、银行等领域。
  人工智能、大数据、云计算和物联网的未来发展值得重视,均为前沿产业,多智时代专注于人工智能和大数据的入门和科谱,在此为你推荐几篇优质好文:
大数据入门之Hadoop基础学习
http://www.duozhishidai.com/article-12891-1.html
Spark 和 Hadoop之间,主要有什么联系
http://www.duozhishidai.com/article-9781-1.html
大数据工程师培训,需要学习的有哪些课程?
http://www.duozhishidai.com/article-15081-1.html


多智时代-人工智能大数据学习入门网站|人工智能、大数据、物联网云计算的学习交流网站

多智时代-人工智能大数据学习入门网站|人工智能、大数据、云计算、物联网的学习服务的好平台

展开阅读全文

没有更多推荐了,返回首页