企业大数据平台一：企业需求及相关的基本组件

企业大数据平台一：企业需求及相关的基本组件

标签（空格分隔）： 企业大数据平台

---

一，企业需求：

第一方面：
数据分析：
* MapReduce———Hive:离线分析
* Spark—实时（相对来说）
* 实时分析：Storm(毫秒级别) Spark Streaming(秒级别)
* 深度分析：机器学习，数据挖掘

第二方面：
数据存储–数据仓库–数据检索
*HDFS
*Hive
*Hbase
*搜索–Nutch,Lunece,Solr,ES(ES与Hbase集成)

二，基本组件：

1，zookeeper–分布式协作框架
应用：
*HDFS HA自动故障转移
*RM HA 自动故障转移
*Hbase架构
*Kafka集群
*Storm集群
*Solr Clouder 4.x&Solr 5.x
*Dubble

节点个数：2N+1
–小型集群：3个或者5个
–中型机器：5个或者7个
–大型机器：7个以上（奇数个）

脚本启动zookeeper集群：
http://wenku<