2014年01月_小狼_百度

12月 10月 08月 07月 06月 05月 04月 03月 02月 01月

转载 KAFKA分布式消息系统

Kafka[1]是linkedin用于日志处理的分布式消息队列，linkedin的日志数据容量大，但对可靠性要求不高，其日志数据主要包括用户行为（登录、浏览、点击、分享、喜欢）以及系统运行日志（CPU、内存、磁盘、网络、系统及进程状态）。当前很多的消息队列服务提供可靠交付保证，并默认是即时消费（不适合离线）。高可靠交付对linkedin的日志不是必须的，故可通过降低可靠性来提高性能，同时

2014-01-10 20:29:45 1202

转载快速理解Kafka分布式消息队列框架

作者：刘旭晖 Raymond 转载请注明出处Email：colorant at 163.comBLOG：http://blog.csdn.net/colorant/==是什么 == 简单的说，Kafka是由Linkedin开发的一个分布式的消息队列系统(Message Queue) 目标Scope（解决什么问题）

2014-01-09 19:41:59 8134 1

转载消息系统Kafka介绍

1、概述Kafka是Linkedin于2010年12月份开源的消息系统，它主要用于处理活跃的流式数据。活跃的流式数据在web网站应用中非常常见，这些数据包括网站的pv、用户访问了什么内容，搜索了什么内容等。这些数据通常以日志的形式记录下来，然后每隔一段时间进行一次统计处理。传统的日志分析系统提供了一种离线处理日志信息的可扩展方案，但若要进行实时处理，通常会有较大延迟。

2014-01-06 11:09:05 1035

转载 Hadoop平台优化综述（二）

从系统实现角度进行优化4.1 在可移植性和性能之间进行权衡论文[16]主要针对HDFS进行了优化，它分析了HDFS性能低下的两个原因：调度延迟和可移植性假设。（1）调度延迟Hadoop采用的是动态调度算法，即：当某个tasktracker上出现空slot时，它会通过HEARBEAT（默认时间间隔为3s，当集群变大时，会适当调大）告诉jobtracke

2014-01-03 15:20:13 924

转载 HDFS-HA的配置-----自动Failover

1、概述在手动FailOver的基础上，自动Failover增加了两个东西：一个是ZooKeeper集群，一个是ZKFailoverController(简称：ZKFC)ZK集群：作为一个高可靠系统，能够为一小部分协同数据提供监控，将数据的更改随时反应给客户端。HDFS的HA依赖zk提供的两个特性：一个是错误监测，一个是活动节点选举 Failure detection

2014-01-03 15:02:00 769

转载 Hadoop平台优化综述（一）

1. 概述随着企业要处理的数据量越来越大，MapReduce思想越来越受到重视。Hadoop是MapReduce的一个开源实现，由于其良好的扩展性和容错性，已得到越来越广泛的应用。Hadoop作为一个基础数据处理平台，虽然其应用价值已得到大家认可，但仍存在很多问题，以下是主要几个：（1） Namenode/jobtracker单点故障。 Hadoop采用的是

2014-01-03 14:59:48 781

转载调大预读缓冲区大小来提高性能

You can get the current settings of your harddrives with:blockdev --report.This will report all settings of all your currently attached harddrives.The default value for the readahead buffer in l

2014-01-03 14:46:20 6460

编者按：Linux文件预读算法磁盘I/O性能的发展远远滞后于CPU和内存，因而成为现代计算机系统的一个主要瓶颈。预读可以有效的减少磁盘的寻道次数和应用程序的I/O等待时间，是改进磁盘读I/O性能的重要优化手段之一。本文作者是中国科学技术大学自动化系的博士生，他在1998年开始学习Linux，为了优化服务器的性能，他开始尝试改进Linux kernel，并最终重写了内核的文件预读部分，这些改进被收录

2014-01-03 14:44:23 2080

转载 CHD4B1（hadoop-0.23）实现NameNode HA安装配置

CHD4B1（hadoop-0.23）实现NameNode HA安装配置CHD4B1（hadoop-0.23）实现NameNode HA安装配置 Cloudera CHD4B1版本已经包含了NameNode HA，社区也把NameNode HA branch HDFS-1623 merge到trunk版本，可以实现了双NameNode的热备份，不过目前只支持手动切换，还不支持自动

2014-01-03 11:08:19 877