自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(8)
  • 收藏
  • 关注

原创 什么时候面向文档NoSQL数据库可以代替SQL数据库

声明:      1、我不是SQL的信徒,同样也不是NoSQL的信徒。      2、只讨论面向文档的NoSQL和SQL数据库在数据存储方面的使用。 我相信任何技术既然被认可都有其用武之地,但是我们要扬长避短,切不可盲目崇拜。我喜欢折腾自己没接触过的技术,并尝试用它去解决实际工作中遇到或可能遇到的问题,其中有成功也有失败,下面的总结也是来自最近的一次尝试的失败。 NoSQL

2015-06-11 14:16:12 1571 1

原创 Azkaban2.5.0与Hadoop2.5.1的集成

本文主要介绍Azkaban在Hadoop2.5.1、Hive0.13.1环境下的安装和部署。 组件版本 Centos 6.5 64位 Java 1.7 Hadoop 2.5.1 Hive 0.13.1 MySQL 5.5 预装需求 Hadoop集群环境可用,并配置了相关的环境变量,包括:JAVA_HOME、HADOOP_HOME、HADOOP

2014-10-29 17:37:11 6168 4

原创 贫农的大数据之五(Hadoop集群部署)

Hadoop部署的文章和介绍网上有很多,笔者这里就不

2014-04-30 17:44:09 815

原创 贫农的大数据之四(Storm简介及开发)

Storm是一个分布式实时计算系统 Storm特点:      速度快 - 每个节点每秒能处理百万级的数据      扩展性好 - 集群本身扩展简单;Topology的每个部分的并行数都能轻易的进行调节;线上环境能够随时进行rebalance,重新分配系统资源的占用      容错能力强 - 当Woker死掉,Storm会自动重启它;当节点死掉,运行在它上面的Worker会被重新分配到新的

2014-04-29 17:38:08 1153

原创 贫农的大数据之三(Storm集群部署)

Kafka集群部署 部署环境 实体机2台,CPU:4核,内存:8G,硬盘:SAS 600G RAID1,网卡:1000M。 ip分别为192.168.0.136,192.168.0.137。系统均为Centos 6.3 软件版本 SUN JDK 1.6 Zookeeper 3.4.5 ,这里我使用了3个节点的集群分别为:zkserver1,zks

2014-04-29 17:23:56 1096 1

原创 贫农的大数据之二(Kafka)

Kafka集群部署 规划

2014-04-24 16:54:23 1312 1

原创 贫农的大数据之一(设计篇)

所在部门的主要职责是为公司生产的设备提供统一的业务管理平台,相对来说搞数据只是个贫农,没有土豪那么多的人力,也没有土豪那样成百上千台机器的集群,但是贫农也有追求大数据的幸福啊----其实是被领导逼得,之前的MySQL+ETL随着业务量的增长已经无法满足需求,不得不调整。 虽然是贫农,但是该有的还是要有,该用的还是得用,要做就尽量做到最好吧。下面就直接进入正题了 设计目标: 能够尽快投

2014-04-23 17:15:07 766

原创 开博纪

记录工作中的经验教训,fang

2014-04-22 16:54:47 437

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除