“为什么很多公司都采用Hadoop方案处理大数据业务”,引来很多回答,笔者整理如下,其观点或有时而可商,欢迎讨论。
先说一说什么样的公司比较倾向于使用Hadoop。有人认为,使用Hadoop的前提是自身有没有收集并分析数据的需要,并且数据量是否一直在增长并且不可丢弃。
目前看起来,此类数据多数为日志数据,分析用户习惯,或者就是传感器之类的数据,分析环境等监控内容的变化规律。也有很多公司不使用Hadoop,比如多 数从事政府行业或者部分企业系统开发的公司,他们对系统的易部署及易维护性要求更高,虽然也会遇到一部分数据量较大,不过通常使用NoSQL数据库就能够 满足需要了,很少使用Hadoop。
这又回到了一句老话,任何技术,都是为了解决问题而存在的,没有必要为了技术而技术!
那么,使用Hadoop的公司为什么选择Hadoop呢?选择Hadoop,其实是选择的的MapReduce,把大块的任务切分为若干份小任务,由集群的每台服务器来计算,最后把结果合并。
有人认为,主要有三点:1,可以解决问题; 2,成本低 ; 3,成熟的生态圈。
一、Hadoop为大数据而生
在那个没有Hadoop的时代,大家是怎么处理大量数据的呢?IBM的大型机是一个很不错的解决方案。
中国的银行系统目前很大一部分还在大型机上。但是大型机太贵了,实在