hadoop可以解决什么问题_Hadoop常见问题 | Hadoop能干什么？

我们很荣幸能够见证Hadoop十几年间经历了从无到有，再到称王。感动于技术的日新月异时，希望通过本篇有问有答，带大家解决Hadoop的常见问题。

1

Q：Hadoop 的发展历史

A：

2

Q：Hadoop有哪些优点呢？

A：Hadoop 是一个能够让用户轻松架构和使用的分布式计算的平台。用户可以轻松地在 Hadoop 发和运行处理海量数据的应用程序。其优点主要有以下几个：

(1) 高可靠性：Hadoop 按位存储和处理数据的能力值得人们信赖。

(2) 高扩展性：Hadoop 是在可用的计算机集簇间分配数据并完成计算任务的，这些集簇可以方便地扩展到数以干计的节点中。

(3) 高效性：Hadoop能够在节点之间动态地移动数据，并保证各个节点的动态平衡，因此处理速度非常快。

(4) 高容错性：Hadoop能够自动保存数据的多个副本，并且能够自动将失败的任务重新分。

(5) 低成本：与一体机、商用数据仓库以及 QlikView、 Yonghong Z- Suites 等数据集市相比，Hadoop 是开源的，项目的软件成本因此会大大降低。

Hadoop 带有用 Java 语言编写的框架，因此运行在 linux 生产平台上是非常理想的， Hadoop 上的应用程序也可以使用其他语言编写，比如 C++。

3

Q：25%的Spark正在脱离Hadoop生态单独运行

A：Gartner报告其实是该系列调查的导火索。在早前的报告中，Gartner曾指出，尽管企业对大数据解决方案的需求不断增长，但对Hadoop的需求没有像预期那样加速。同时，25%的Spark已经开始脱离Hadoop生态单独运行。

4

Q：Hadoop能干什么？

A：大数据存储：分布式存储

日志处理：擅长日志分析

ETL:数据抽取到oracle、mysql、DB2、mongdb及主流数据库

机器学习: 比如Apache Mahout项目

搜索引擎:Hadoop + lucene实现

数据挖掘：目前比较流行的广告推荐，个性化广告推荐

Hadoop是专为离线和大规模数据分析而设计的，并不适合那种对几个记录随机读写的在线事务处理模式。

5

Q：Hadoop的特点

A：扩容能力(Scalable)

能可靠地(reliably)存储和处理千兆字节(PB)数据

成本低(Economical)

可以通过普通机器组成的服务器集群来分发以及处理数据。这些服务器几圈总计可以达到千个节点。

高效率(Efficient)

通过分发数据，hadoop 可以在数据所在的节点上并行的(parallel)处理它们，这使得处理非常快。

可靠性(Reliable)

hadoop 能自动地维护数据的多份副本，并且在任务失败后能自动重新部署(redeploy)计算任务

小伙伴们冲鸭，后台留言区等着你！

关于Hadoop，今天你学到了什么？还有哪些不懂的？除此还对哪些话题感兴趣？快来留言区打卡啦！留言方式：打开第XX天，答：……

同时欢迎大家搜集更多问题，投稿给我们！风里雨里留言区里等你~