Xlucas的博客

创建一个xlucas的topic 6个分区 3个副本[hadoop@master bin]$ ./kafka-topics.sh --create --zookeeper 192.168.1.101:2181 --topic xlucas --partitions 6 --replication-factor 3Created topic "xlucas".包含了Topic各个分区的相关信息[ha

主要介绍kafka生产者的基本使用，同步异步的操作package xlucas.kafka;import java.util.Properties;import java.util.concurrent.ExecutionException;import org.apache.kafka.clients.producer.*;import org.apache.kafka.comm...

kafka的关键特征kafka具有近乎实时性的消息处理能力，即使面对海量消息也能够高效地存储信息和查询信息，kafka将消息保存在磁盘中，在其设计理念中并不惧怕磁盘操作，它以顺序读写的方式访问磁盘，从而避免了随机读写磁盘导致的性能瓶颈kafka支持批量读写消息，并且会对消息进行批量压缩，这样既提高了网络的利用率也提高了压缩效率kafka支持消息分区，每个分区中的消息保证顺序传输，而分区之...

#每个broker在集群中的唯一标识，即使broker的IP地址发生了变化，broker.id只要没变，则不会影响consumers的消息情况broker.id=0#是否允许topic被删除，如果是false,使用管理员工具删除topic的时候，kafka并不会处理此操作#delete.topic.enable=true#kafka 服务端是否可以根据请求自动创建topic，默认是tr...

在开始分析kafka的源码之前，我们先要手动搭建kafka源码的调试环境，需要准备的软件有，java、scala、gradle、zookeeper、kafka、ide 软件版java：1.8.0_141scala：2.11.4gradle：4.7zookeeper：3.4.6kafka:1.0.0 ide:idea 2017.1.5OS:window7 641、安装：...

今天在部署Kafka1.0.1的时候，发现Kafka的很多API结果有所调整，所以基于1.0.1版本开发了一个基本的producer和consumer 安装和之前基本类似，没有很多区别，需要注意的是很大地方需要填写主机名不要填写ip了记得需要修改window的hosts文件，将主机名配置进去测试生产端package xlucas.kafka;//依赖的API也变化import org.apac

flume 使用简单使用flume 场景1： 1、通过netcat发布消息 2、用flume接收netcat发布的消息，最终显示在终端 3、flume的channels是用内存存储的先定义flume-conf.properties.log 这样的文件#定义agent的配置 定义sources 定义channels 定义sinksa1.sources = r1a1.sinks = k1

问题 flume采集日志用kafka来广播消息flume的配置[root@SZB-L0032016 bin]# cat ../conf/flume_kafka.conf a.sinks=k1a.sources=s1 s2a.channels=r1#定义source是从文本文件过来a.sources.s1.type=execa.sources.s1.command=tail -F /ro

Kafka是什么Kafka是最初由Linkedin公司开发，是一个分布式、分区的、多副本的、多订阅者，基于zookeeper协调的分布式日志系统(也可以当做MQ系统)，常见可以用于web/nginx日志、访问日志，消息服务等等，Linkedin于2010年贡献给了Apache基金会并成为顶级开源项目。1.前言一个商业化消息队列的性能好坏，其文件存储机制设计是衡量一个

1.topic注册信息/brokers/topics/[topic] :存储某个topic的partitions所有分配信息Schema:{    "version": "版本编号目前固定为数字1",    "partitions": {        "partitionId编号": [            同步副本组brok

问题： Kafka的安装过程 kafka的启动 kafka的样例http://apache.fayea.com/kafka/0.10.0.1/kafka_2.10-0.10.0.1.tgz 下载地址1、解压Kafka 惊讶的是Kafka内置了Zookeeper的安装包以及启停Zookeeper的脚本，版本比较低，是3.3.4版本。理论上不应该使用Kafka的版本，因为Zookeeper是个

消息队列消息队列技术是分布式应用间交换信息的一种技术。消息队列可驻留在内存或磁盘上, 队列存储消息直到它们被应用程序读走。通过消息队列，应用程序可独立地执行–它们不需要知道彼此的位置、或在继续执行前不需要等待接收程序接收此消息。在分布式计算环境中，为了集成分布式应用，开发者需要对异构网络环境下的分布式应用提供有效的通信手段。为了管理需要共享的信息，对应用提供公共的信息交换机制是

在具体介绍本文内容之前，先给大家看一下Hadoop业务的整体开发流程： 从Hadoop的业务开发流程图中可以看出，在大数据的业务处理过程中，对于数据的采集是十分重要的一步，也是不可避免的一步，从而引出我们本文的主角—Flume。本文将围绕Flume的架构、Flume的应用(日志采集)进行详细的介绍。 （一）Flume架构介绍 1、Flume的概念 flume是分布式的

每个flume agent包含三个主要组件：source、channel、sink。 source是从一些其他产生数据的应用中接收数据的活跃组件，有自己产生数据的source，不过这些source通常用于测试目的，source可以监听一个或者多个网络端口，用于接收数据或者可以从本地文件系统读取数据，每个source必须至少连接一个channel，基于一些标准，一个source可以写入

Flume原理、安装和使用 1.flume是分布式的日志收集系统，把收集来的数据传送到目的地去。 2.flume里面有个核心概念，叫做agent。agent是一个java进程，运行在日志收集节点。 3.agent里面包含3个核心组件：source、channel、sink。 3.1 source组件是专用于收集日志的，可以处理各种类型各种格式的日志数据,包括avro、thrift、exec、

ProducerInterceptor对消息进行拦截 Serializer对消息的key和value进行序列化Partitioner为消息选择合适的Partition RecordAccumulator收集消息，实现批量发送sender从RecordAccumulator获取消息 构造一个ClientRequest，这里是KafkaClient将ClientRequest交给N...