旧时明月

简介: Kafka是分布式发布-订阅消息系统。它最初由LinkedIn公司开发，之后成为Apache项目的一部分。Kafka是一个分布式的，可划分的，冗余备份的持久性的日志服务。它主要用于处理活跃的流式数据。 Kayka的整体架构: Kayka的整体架构非常简单，是显式分布式架构，producer、broker（kafka）和consumer都可以有多个。数据从producer发

1、flume-apache.conf    --不需要修改 ** 监控apache web应用的日志文件 2、flume-hive.conf      --不需要修改 ** 监控hive日志文件 $ sbin/start-dfs.sh ;sbin/start-yarn.sh ;mr-jobhistory-daemon.sh start historyserver 3、修改f

本文将针对Kafka性能方面进行简单分析，首先简单介绍一下Kafka的架构和涉及到的名词： - Topic：用于划分Message的逻辑概念，一个Topic可以分布在多个Broker上。 - Partition：是Kafka中横向扩展和一切并行化的基础，每个Topic都至少被切分为1个Partition。 - Offset：消息在Partition中的编号，编号顺序不跨Partit