Kafka 分布式环境搭建

这篇文章将介绍如何搭建kafka环境,我们会从单机版开始,然后逐渐往分布式扩展。单机版的搭建官网上就有,比较容易实现,这里我就简单介绍下即可,而分布式的搭建官网却没有描述,我们最终的目的还是用分布式来解决问题,所以这部分会是重点。 Kafka的中文文档并不多,所以我们尽量详细点儿写。要交会你搭建...

2013-10-27 22:54:49

阅读数 5329

评论数 0

Storm – Kafka – Cassandra for Big Data System

Background Traditional log file aggregation is a respectable and scalable approach for supporting offline use cases like reporting or batch proc...

2013-10-27 21:28:32

阅读数 3376

评论数 0

Twitter Storm开篇之作

Storm介绍 Twitter将Storm正式开源了,这是一个分布式的、容错的实时计算系统,它被托管在GitHub上,遵循 Eclipse Public License 1.0。Storm是由BackType开发的实时处理系统,BackType现在已在Twitter麾下。GitHub上的最新...

2013-10-25 17:21:19

阅读数 4370

评论数 0

浅淡JAVA异常机制如何设计

一、异常的好处      异常带来诸多好处。首先,它将错误处理代码从正常代码(normal code)中分离出来。你可以将那些执行概率为99.9%的代码封装在一个try块内,然后将异常处理代码置于catch子句中。这种方式的好处是,正常代码因此而更简洁。      如果你不知道如何处理...

2013-10-24 14:50:12

阅读数 820

评论数 0

Maven简介

什么是Maven仓库 在不用Maven的时候,比如说以前我们用Ant构建项目,在项目目录下,往往会看到一个名为/lib的子目录,那里存放着各类第三方依赖jar文件,如log4j.jar,junit.jar等等。每建立一个项目,你都需要建立这样的一个/lib目录,然后复制一对jar文件,这是很...

2013-10-24 11:06:49

阅读数 1310

评论数 0

Storm简介

场景 伴随着信息科技日新月异的发展,信息呈现出爆发式的膨胀,人们获取信息的途径也更加多样、更加便捷,同时对于信息的时效性要求也越来越高。举个搜索场景中的例子,当一个卖家发布了一条宝贝信息时,他希望的当然是这个宝贝马上就可以被卖家搜索出来、点击、购买啦,相反,如果这个宝贝要等到第二天或者更久才可以...

2013-10-23 18:24:21

阅读数 27810

评论数 0

linux下用rpm 安装jdk

1.下载jdk的rpm安装包,这里以jdk-6u21-linux-i586-rpm.bin为例进行说明 下载地址:http://www.oracle.com/technetwork/java/javase/downloads/index.html   2. 将jdk-6u21-l...

2013-10-23 17:15:00

阅读数 793

评论数 0

流式计算之Storm简介

Storm是一个分布式的、容错的实时计算系统,遵循Eclipse Public License 1.0,Storm可以方便地在一个计算机集群中编写与扩展复杂的实时计算,Storm之于实时处理,就好比Hadoop之于批处理。Storm保证每个消息都会得到处理,而且它很快——在一个小集群中,每秒可以处...

2013-10-21 18:09:09

阅读数 2458

评论数 0

Kafka学习笔记

关于kafka的架构图在之前的一篇文章中有: http://wiki.corp.qunar.com/pages/viewpage.action?pageId=27866816 kafka的一些设计理念: 1、关注大吞吐量,而不是别的特性 2、针对实时性场景 3、关...

2013-10-21 15:42:22

阅读数 7066

评论数 2

Storm及Hadoop比较 && Strom优点

一、 比较  Storm: 分布式实时计算,强调实时性,常用于实时性要求较高的地方 Hadoop:分布式批处理计算,强调批处理,常用于数据挖掘、分析 二、 优点 1. 简单编程 在大数据处理方面相信大家对hadoop已经耳熟能详,基于Google Map/Reduce来实现的Had...

2013-10-21 15:22:09

阅读数 4798

评论数 0

Coprocessor Introduction

(The original version of the blog was posted at http://hbaseblog.com/2010/11/30/hbase-coprocessors/ in late 2010, however the site is no longer ava...

2013-10-12 15:25:26

阅读数 1361

评论数 0

hbase的coprocessor使用

1.起因(Why HBase  Coprocessor) HBase作为列族数据库最经常被人诟病的特性包括:无法轻易建立“二级索引”,难以执行求和、计数、排序等操作。比如,在旧版本的(计数据表的总行数,需要使用Counter方法,执行一次MapReduce Job才能得到。虽然HBase...

2013-10-12 15:07:49

阅读数 8497

评论数 0

HBase技术介绍

HBase简介 HBase – Hadoop Database,是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统,利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。 HBase是Google Bigtable的开源实现,类似Google Bigtable利用GFS...

2013-10-12 12:28:09

阅读数 1256

评论数 0

提示
确定要删除当前文章?
取消 删除