大数据技术与hadoop生态系统

大数据应用领域

1.互联网领域：搜索引擎，推荐系统，广告系统…
2.电信领域：用户画像，用户行为分析…
3.医药生物领域：DNA分析…
4.视频领域：视频存储，视频分析…
5.金融领域：信用卡欺诈分析，用户分析…
…

大数据框架

大数据技术与Hadoop关系

Hadoop是最早的分布式存储技术系统，现在成为生态圈
大数据技术-->用于处理大数据-->运用多台计算机处理（分布式）

Hadoop特点

源代码开源（免费）
社区活跃，参与者众多
涉及分布式存储和计算的方方面面
已得到企业界验证

Hadoop生态系统

Hadoop在大数据框架中的应用

大数据挑战：

1.机器数目多：从几百个，到上千个甚至上万。如何只用几个人管理如此大规模的机器？
2.数据量大：PB级数据量，数据增速极快
3.软件栈复杂：涉及到众多的系统，这些系统会交织在一起。管理，监控和升级这些软件的工作量很大。
4.定位问题困难：问题来源可能是硬件，操作系统，大数据系统等。