关闭

总结

标签: hadoop
88人阅读 评论(0) 收藏 举报

ZooKeeper是一个分布式的小文件存储系统。前身是Apache Hadoop的一个组件,被拆分为一个Hadoop的独立子项目
ZooKeeper是一个为分布式应用程序提供高性能协调服务的工具集合。它可以应用在一些需要提供统一协调服务的场景中,例如命名、配置管理、同步和组服务等。而在我们的场景中,它被作为一个协调分布式环境中各子系统之间共享状态数据的基础组件。
ZooKeeper:提供通用的分布式锁服务,用以协调分布式应用
kafka是由LinkedIn开发,主要是用来处理Linkedin的大面积活跃数据流处理(activity stream). 此类的数据经常用来反映网站的一些有用的信息,比如PV,页面展示给哪些用户访问,用户搜索什么关键字最多,这类信息经常被log到文件里,然后线下且周期性的去分析这些数据。现在这种用户活跃数据已经成为互联网公司重要的一部分,所以必须构建一个更轻量且更精炼的基础架构。
高流量的活跃数据是无法确定其大小的,因为他可能随时的变化,比如商家可能促销,节假日打折,突然又冒出一个跳楼价等等。所有的数据可能是数量级的往上递增。 传统日志分析方式都是需要离线,而且操作起来比较复杂,根本无法满足实时的分析。另一方面,现有的消息队列系统只能达到近似实时的分析,因为无法消费大量的持久化在队列系统上的信息。Kafka的目标就是能够成为一个高效的队列平台,无论是处理离线的信息还是在线的信息。

0
0
查看评论

[Android基础]Android总结篇

Android公共技术:公共技术点之 Android 动画基础公共技术点之 Java 动态代理公共技术点之依赖注入公共技术点之 View 事件传递公共技术点之 View 绘制流程1.Android的Framework和Android apk的打包过程底层的Binder驱动,IPC的核心,SGL 2D...
  • CodeEmperor
  • CodeEmperor
  • 2016-03-29 11:08
  • 18928

php 总结

总结了一点点php知识 有什么没有提到的 大家可以补充
  • csdn_ndx
  • csdn_ndx
  • 2015-05-07 20:53
  • 1093

商城项目总结

sso 单点登录系统 主要解决多系统同意登陆,基础登陆都系统使用。 使用技术(没有页面,只有接口)springMVC spring + j\redis 检查用户信息是否存在: 接口查询数据库是否由该数据 返回true或者false 注册用户: 接口接收数据,写入数据库 用户登录: 接...
  • xiaoyu19910321
  • xiaoyu19910321
  • 2017-03-07 23:15
  • 503

总结心灵鸡汤

专注模式和发散模式总结:专注模式 (Focused mode) 和发散模式 (Diffuse mode),专注模式就是集中精力学习或理解某事,只有局部的神经链接处于激活状态,有利于你解决实际问题。当你面对熟悉的事物时,一般处于专注模式,而当你需要新想法和办法时,或者你需要从宏观上把握某件事时就切换到...
  • liu15933481758
  • liu15933481758
  • 2015-10-12 22:43
  • 180

Spring框架总结:

IOC(控制反转)和DI(依赖注入),这是spring的基石,Spring有了这两个机制可以帮我们省去对象的创建,销毁,初始化等工作。   SpringIOC创建对象有三种方式: 采用默认的构造函数(上面的例子就是采用默认的构造函数方式,所以如果去掉默认构造方法,那么就会报错) 采...
  • BDblog_chang
  • BDblog_chang
  • 2017-04-12 15:34
  • 365

JAVA核心技术总结

技术总结 JAVA核心技术总结 J2EE技术总结 工作和学习总结 大数据相关技术总结
  • huanggang028
  • huanggang028
  • 2015-05-06 15:37
  • 1022

Maven使用总结

Maven是什么 Maven是优秀的构建工具:      构建是指项目的清理、编译、测试到生成构建报告、再到打包和部署的过程,使用java原生命令或者在IDE中操作,只能执行构建中的某一步操作,而Maven能帮助我们自动化的构建,我们甚至只需要一个命令就能执行上诉构建的...
  • Troy__
  • Troy__
  • 2014-09-20 17:16
  • 2077

nodejs的总结

简介:      Javascript之所以能在浏览器运行,是因为浏览器提供一个“上下文环境”,它定义了Javascript可以做什么事情。      Nodejs,说白了,其实也是一个“上下文环境" , 这个上下文环境,允许...
  • l402398703
  • l402398703
  • 2013-08-11 15:05
  • 2554

pmp项目管理学习总结

一、为什么学习项目管理 一、什么是项目管理 工作和生活中哪些可以认为是项目: 我们的工作和生活中普遍存在的都是一个项目的结束紧接着另一个项目的开始。在生活中大到建造一栋大厦,小到做一顿饭,这些我们进行的每一个事情都可以理解为进行了一个项目,在工作中每次的产品版本迭代也都可以认为是一个项目,所以...
  • changNet
  • changNet
  • 2015-12-21 00:19
  • 926

负载均衡总结

中小型 如:日PV小于1000万,Nginx即可 机器多,DNS轮询 大型网站或服务重要,服务器多,用LVS ———————————————————— 使用硬件进行负载均衡(机器多):f5、array(特点:贵,维护麻烦) 使用软件进行负载均衡(开源免费):Nginx、LVS、HAProxy ———...
  • lovewebeye
  • lovewebeye
  • 2016-10-18 11:11
  • 108
    个人资料
    • 访问:680次
    • 积分:53
    • 等级:
    • 排名:千里之外
    • 原创:5篇
    • 转载:0篇
    • 译文:0篇
    • 评论:0条
    文章存档
    阅读排行