关闭

zookeeper与kafka介绍

标签: hadoopzookeeper存储系统
148人阅读 评论(0) 收藏 举报

Zookeeper

  • ZooKeeper是一个分布式的小文件存储系统。前身是Apache Hadoop的一个组件,被拆分为一个Hadoop的独立子项目。
  • ZooKeeper是一个为分布式应用程序提供高性能协调服务的工具集合。被作为一个协调分布式环境中各子系统之间共享状态数据的基础组件。


    为什么使用Zookeeper

    大部分分布式应用需要一个主控、协调器或控制器来管理物理分布的子进程(如资源、任务分配等)
    目前,大部分应用需要开发私有的协调程序,缺乏一个通用的机制
    协调程序的反复编写浪费,且难以形成通用、伸缩性好的协调器
    ZooKeeper:提供通用的分布式锁服务,用以协调分布式应用

Zookeeper的节点

Znode有两种类型,临时节点和持久节点
Znode的类型在创建时确定并且之后不能再修改

kafka

  1. 由LinkedIn开发,主要是用来处理Linkedin的大面积活跃数据流处理。此类的数据经常用来反映网站的一些有用的信息。
  2. 高流量的活跃数据是无法确定其大小的,因为他可能随时的变化
  3. 传统日志分析方式都是需要离线,而且操作起来比较复杂,根本无法满足实时的分析。另一方面,现有的消息队列系统只能达到近似实时的分析,因为无法消费大量的持久化在队列系统上的信息
  4. Kafka的目标就是能够成为一个高效的队列平台,无论是处理离线的信息还是在线的信息。

Kafka的核心概念

topic 主题
partition 分区
offset 类似于一个偏移量
consumer group

zookeeper在kafka中的作用

zookeeper在kafka中的作用

0
0
查看评论

zookeeper 和 kafka 集群搭建

Kafka初识 1、Kafka使用背景 在我们大量使用分布式数据库、分布式计算集群的时候,是否会遇到这样的一些问题: 我们想分析下用户行为(pageviews),以便我们设计出更好的广告位我想对用户的搜索关键词进行统计,分析出当前的流行趋势有些数据,存储数据库浪费,直接存储硬盘效率又低&#...
  • my_bai
  • my_bai
  • 2017-03-30 17:35
  • 8383

Zookeeper在kafka中的应用

 Zookeeper在kafka中的应用 @20150606   简介 Kafka使用zookeeper作为其分布式协调框架,很好的将消息生产、消息存储、消息消费的过程结合在一起。同时借助zookeeper,kafka能够生产者、消费者和broker在内的所以组件在无状态的情...
  • tianbianlan
  • tianbianlan
  • 2015-06-06 12:07
  • 18989

Kafka怎么和Zookeeper配合使用

原文地址:https://cwiki.apache.org/confluence/display/KAFKA/FAQ How does Kafka depend on Zookeeper? Starting from 0.9, we are removing all the Zo...
  • tanga842428
  • tanga842428
  • 2016-09-28 17:23
  • 880

kafka+zookeeper入门搭建

配置jdk [root@htapp01 mnt]# java -version java version "1.8.0_102" Java(TM) SE Runtime Environment (build 1.8.0_102-b14) Java HotSpot(TM) ...
  • weixin_35494719
  • weixin_35494719
  • 2017-02-14 11:30
  • 799

zookeeper和kafka

zookeeper:ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,是Google的Chubby一个开源的实现,是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件,提供的功能包括:配置维护、域名服务、分布式同步、组服务等。Kafka:是一种高吞吐量的分...
  • wj903829182
  • wj903829182
  • 2017-09-05 14:34
  • 303

ZooKeeper kafka入门:简介、使用场景、设计原理、主要配置

问题导读: 1.zookeeper在kafka的作用是什么? 2.kafka中几乎不允许对消息进行“随机读写”的原因是什么? 3.kafka集群consumer和producer状态信息是如何保存的? 4.partitions设计的目的的根本原因是什么? 一、入...
  • doctor_who2004
  • doctor_who2004
  • 2014-10-27 21:42
  • 2891

Kafka---如何配置Kafka集群和zookeeper集群

Kafka的集群配置一般有三种方法,即 (1)Single node – single broker集群; (2)Single node – multiple broker集群; (3)Multiple node – multiple broker集群。 前两种方法官网上有配置过程((1)(2)配...
  • Hadas_Wang
  • Hadas_Wang
  • 2015-11-27 22:32
  • 10969

apache kafka系列之在zookeeper中存储结构

1.topic注册信息 /brokers/topics/[topic] : Schema: { "fields" :     [ {"name": "version&...
  • lizhitao
  • lizhitao
  • 2014-04-15 10:57
  • 24209

kafka集群搭建(使用外部zookeeper集群环境方式)

前   言  kafka集群搭建,没有太多可以说的东西,几乎就是照葫芦画瓢。有什么地方不懂或是报错,可以评论,博主会做些修改,若有急需解决问题的,也可直接联系博主,不忙的情况下,博主帮忙解决 环境说明         ...
  • m0_37590135
  • m0_37590135
  • 2017-07-01 19:44
  • 1009

kafka+zookeeper环境配置(linux环境单机版)

一.zookeeper下载与安装 1)下载 $ wget http://mirrors.cnnic.cn/apache/zookeeper/zookeeper-3.4.6/zookeeper-3.4.6.tar.gz 2)解压 tar zxvf zookeeper-3.4.6.tar.gz ...
  • u013244038
  • u013244038
  • 2016-12-15 15:11
  • 1690
    个人资料
    • 访问:908次
    • 积分:106
    • 等级:
    • 排名:千里之外
    • 原创:9篇
    • 转载:1篇
    • 译文:1篇
    • 评论:0条
    文章存档