- 博客(6)
- 收藏
- 关注
原创 贫农的大数据之四(Storm简介及开发)
Storm是一个分布式实时计算系统Storm特点: 速度快 - 每个节点每秒能处理百万级的数据 扩展性好 - 集群本身扩展简单;Topology的每个部分的并行数都能轻易的进行调节;线上环境能够随时进行rebalance,重新分配系统资源的占用 容错能力强 - 当Woker死掉,Storm会自动重启它;当节点死掉,运行在它上面的Worker会被重新分配到新的
2014-04-29 17:38:08
1185
原创 贫农的大数据之三(Storm集群部署)
Kafka集群部署部署环境实体机2台,CPU:4核,内存:8G,硬盘:SAS 600G RAID1,网卡:1000M。ip分别为192.168.0.136,192.168.0.137。系统均为Centos 6.3软件版本SUN JDK 1.6Zookeeper 3.4.5 ,这里我使用了3个节点的集群分别为:zkserver1,zks
2014-04-29 17:23:56
1125
1
原创 贫农的大数据之一(设计篇)
所在部门的主要职责是为公司生产的设备提供统一的业务管理平台,相对来说搞数据只是个贫农,没有土豪那么多的人力,也没有土豪那样成百上千台机器的集群,但是贫农也有追求大数据的幸福啊----其实是被领导逼得,之前的MySQL+ETL随着业务量的增长已经无法满足需求,不得不调整。虽然是贫农,但是该有的还是要有,该用的还是得用,要做就尽量做到最好吧。下面就直接进入正题了设计目标:能够尽快投
2014-04-23 17:15:07
811
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人