![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
文章平均质量分 94
tambac
这个作者很懒,什么都没留下…
展开
-
贫农的大数据之四(Storm简介及开发)
Storm是一个分布式实时计算系统Storm特点: 速度快 - 每个节点每秒能处理百万级的数据 扩展性好 - 集群本身扩展简单;Topology的每个部分的并行数都能轻易的进行调节;线上环境能够随时进行rebalance,重新分配系统资源的占用 容错能力强 - 当Woker死掉,Storm会自动重启它;当节点死掉,运行在它上面的Worker会被重新分配到新的原创 2014-04-29 17:38:08 · 1185 阅读 · 0 评论 -
贫农的大数据之五(Hadoop集群部署)
Hadoop部署的文章和介绍网上有很多,笔者这里就不原创 2014-04-30 17:44:09 · 822 阅读 · 0 评论 -
贫农的大数据之一(设计篇)
所在部门的主要职责是为公司生产的设备提供统一的业务管理平台,相对来说搞数据只是个贫农,没有土豪那么多的人力,也没有土豪那样成百上千台机器的集群,但是贫农也有追求大数据的幸福啊----其实是被领导逼得,之前的MySQL+ETL随着业务量的增长已经无法满足需求,不得不调整。虽然是贫农,但是该有的还是要有,该用的还是得用,要做就尽量做到最好吧。下面就直接进入正题了设计目标:能够尽快投原创 2014-04-23 17:15:07 · 811 阅读 · 0 评论 -
Azkaban2.5.0与Hadoop2.5.1的集成
本文主要介绍Azkaban在Hadoop2.5.1、Hive0.13.1环境下的安装和部署。组件版本Centos 6.5 64位Java 1.7Hadoop 2.5.1Hive 0.13.1MySQL 5.5预装需求Hadoop集群环境可用,并配置了相关的环境变量,包括:JAVA_HOME、HADOOP_HOME、HADOOP原创 2014-10-29 17:37:11 · 6198 阅读 · 4 评论 -
贫农的大数据之三(Storm集群部署)
Kafka集群部署部署环境实体机2台,CPU:4核,内存:8G,硬盘:SAS 600G RAID1,网卡:1000M。ip分别为192.168.0.136,192.168.0.137。系统均为Centos 6.3软件版本SUN JDK 1.6Zookeeper 3.4.5 ,这里我使用了3个节点的集群分别为:zkserver1,zks原创 2014-04-29 17:23:56 · 1125 阅读 · 1 评论