企业大数据平台一:企业需求及相关的基本组件
标签(空格分隔): 企业大数据平台
一,企业需求:
第一方面:
数据分析:
* MapReduce———Hive:离线分析
* Spark—实时(相对来说)
* 实时分析:Storm(毫秒级别) Spark Streaming(秒级别)
* 深度分析:机器学习,数据挖掘
第二方面:
数据存储–数据仓库–数据检索
*HDFS
*Hive
*Hbase
*搜索–Nutch,Lunece,Solr,ES(ES与Hbase集成)
二,基本组件:
1,zookeeper–分布式协作框架
应用:
*HDFS HA自动故障转移
*RM HA 自动故障转移
*Hbase架构
*Kafka集群
*Storm集群
*Solr Clouder 4.x&Solr 5.x
*Dubble
节点个数:2N+1
–小型集群:3个或者5个
–中型机器:5个或者7个
–大型机器:7个以上(奇数个)
脚本启动zookeeper集群:
http://wenku<