- 博客(9)
- 资源 (10)
- 收藏
- 关注
转载 KAFKA分布式消息系统
Kafka[1]是linkedin用于日志处理的分布式消息队列,linkedin的日志数据容量大,但对可靠性要求不高,其日志数据主要包括用户行为(登录、浏览、点击、分享、喜欢)以及系统运行日志(CPU、内存、磁盘、网络、系统及进程状态)。 当前很多的消息队列服务提供可靠交付保证,并默认是即时消费(不适合离线)。高可靠交付对linkedin的日志不是必须的,故可通过降低可靠性来提高性能,同时
2014-01-10 20:29:45 1210
转载 快速理解Kafka分布式消息队列框架
作者:刘旭晖 Raymond 转载请注明出处Email:colorant at 163.comBLOG:http://blog.csdn.net/colorant/==是什么 == 简单的说,Kafka是由Linkedin开发的一个分布式的消息队列系统(Message Queue) 目标Scope(解决什么问题)
2014-01-09 19:41:59 8165 1
转载 消息系统Kafka介绍
1、 概述Kafka是Linkedin于2010年12月份开源的消息系统,它主要用于处理活跃的流式数据。活跃的流式数据在web网站应用中非常常见,这些数据包括网站的pv、用户访问了什么内容,搜索了什么内容等。 这些数据通常以日志的形式记录下来,然后每隔一段时间进行一次统计处理。传统的日志分析系统提供了一种离线处理日志信息的可扩展方案,但若要进行实时处理,通常会有较大延迟。
2014-01-06 11:09:05 1067
转载 Hadoop平台优化综述(二)
从系统实现角度进行优化4.1 在可移植性和性能之间进行权衡论文[16]主要针对HDFS进行了优化,它分析了HDFS性能低下的两个原因:调度延迟和可移植性假设。(1) 调度延迟Hadoop采用的是动态调度算法,即:当某个tasktracker上出现空slot时,它会通过HEARBEAT(默认时间间隔为3s,当集群变大时,会适当调大)告诉jobtracke
2014-01-03 15:20:13 934
转载 HDFS-HA的配置-----自动Failover
1、概述在手动FailOver的基础上,自动Failover增加了两个东西:一个是ZooKeeper集群,一个是ZKFailoverController(简称:ZKFC)ZK集群:作为一个高可靠系统,能够为一小部分协同数据提供监控,将数据的更改随时反应给客户端。HDFS的HA依赖zk提供的两个特性:一个是错误监测,一个是活动节点选举 Failure detection
2014-01-03 15:02:00 776
转载 Hadoop平台优化综述(一)
1. 概述随着企业要处理的数据量越来越大,MapReduce思想越来越受到重视。Hadoop是MapReduce的一个开源实现,由于其良好的扩展性和容错性,已得到越来越广泛的应用。Hadoop作为一个基础数据处理平台,虽然其应用价值已得到大家认可,但仍存在很多问题,以下是主要几个:(1) Namenode/jobtracker单点故障。 Hadoop采用的是
2014-01-03 14:59:48 788
转载 调大预读缓冲区大小来提高性能
You can get the current settings of your harddrives with:blockdev --report.This will report all settings of all your currently attached harddrives.The default value for the readahead buffer in l
2014-01-03 14:46:20 6475
转载 [转]Linux内核的文件预读(readahead)
编者按:Linux文件预读算法磁盘I/O性能的发展远远滞后于CPU和内存,因而成为现代计算机系统的一个主要瓶颈。预读可以有效的减少磁盘的寻道次数和应用程序的I/O等待时间,是改进磁盘读I/O性能的重要优化手段之一。本文作者是中国科学技术大学自动化系的博士生,他在1998年开始学习Linux,为了优化服务器的性能,他开始尝试改进Linux kernel,并最终重写了内核的文件预读部分,这些改进被收录
2014-01-03 14:44:23 2101
转载 CHD4B1(hadoop-0.23)实现NameNode HA安装配置
CHD4B1(hadoop-0.23)实现NameNode HA安装配置CHD4B1(hadoop-0.23)实现NameNode HA安装配置 Cloudera CHD4B1版本已经包含了NameNode HA,社区也把NameNode HA branch HDFS-1623 merge到trunk版本,可以实现了双NameNode的热备份,不过目前只支持手动切换,还不支持自动
2014-01-03 11:08:19 886
mysql-5.5.23-win32
2012-05-07
Lucene in Action(第2版Lucene3.0.2版本)
2012-04-10
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人