2015年08月_ZK_小姜

12月 11月 10月 09月 08月

原创 storm集群的安装和部署

Storm 是一个开源的、大数据处理系统，与其他系统不同，它旨在用于分布式实时处理且与语言无关。Storm 实现的一些特征决定了它的性能和可靠性的。Storm 使用 ZeroMQ 传送消息，这就消除了中间的排队过程，使得消息能够直接在任务自身之间流动。在消息的背后，是一种用于序列化和反序列化 Storm 的原语类型的自动化且高效的机制。Storm 的一个最有趣的地方是它注重容错和管理。Stor

2015-08-18 15:23:00 2275

原创 zookeeper集群的安装和配置

Zookeeper是一个高性能，分布式的，开源分布式应用协调服务。它提供了简单原始的功能，分布式应用可以基于它实现更高级的服务，比如分布式同步（Distributed Synchronization）、命名服务（Naming Service）、集群维护（Group Maintenance）、名空间（Name Space）等。它被设计为易于编程，使用文件系统目录树作为数据模型。Zookeep

2015-08-18 10:05:01 12531 1

原创 kafka的安装和配置

一、Kafka的安装和配置1.kafka的下载地址 http://kafka.apache.org/downloads.html 2.下载后，可以通过winscp，复制到centos环境下，然后解压： tar zxvf kafka_2.10-0.8.1.1.tgz 3.进入/kafka_2.10-0.8.1.1/config/目录下，对server.properties进行配置：vi ser

2015-08-17 20:06:52 3849

原创 Flume案例

一、Flume的案例 1.案例1：Avro Avro可以发送一个给定的文件给Flume，Avro 源使用AVRO RPC机制。 1）创建agent的配置文件avro.confa1.sources = r1a1.sinks = k1a1.channels = c1# Describe/configure the sourcea1.sources.r1.type = avroa1.sour

2015-08-17 17:03:00 1529

原创 Flume的安装和配置

Flume的安装和配置一、Flume的介绍 Flume是Cloudera提供的一个分布式、可靠、和高可用的海量日志聚合的系统，支持在系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。 1.Flume的几个核心概念：event、client、flow、agent、source、channel、sink； 2.Flume

2015-08-17 10:35:07 1784