flume 的kafka sink及 taill 命令

a1.sources = r1 a1.sinks = k1 a1.channels = c1# Describe/configure the source a1.sources.r1.type = exec a1.sources.r1.shell = /bin/bash -c a1.sources.r1.channels = c1 a1.sources.r1.command = tail -F /o...
阅读(570) 评论(0)

kafka 集群访问报错链接找不到node

连接Kafka集群出错 kafka 集群3台机器,3台机器间配置了免密登录。但是发送数据时,报错找不到nodeconnection to node -1 at kf1:9092.有两种解决方法。 解决方法1: 修改 kafka 集群的server.properties 配置文件brokerIP 替换为 当前broker的IP。//每台broker的server.properties 添加如下。...
阅读(600) 评论(0)

kafka Stream的Wordcount

本文展示了kafka Stream Wordcount 例子的两种写法kafka Stream 版本0.10.1.0此例子 使用了高层流DSL创建kStream 多实例(instances1,instances2为两个实例)并行计算处理了从topic1 中读取的数据。package com.us.kafka.Stream;import java.util.Arrays;import org.apac...
阅读(520) 评论(0)

kafka集群脚本

自己搭建了一个三台zookeeper和6台kafka的集群。由于启动和停止集群比较麻烦所以就写了启动和停止集群的脚本。kafka集群启动脚本kfq1-kfq6是我的6台kafka集群。在/etc/hosts 文件下配了映射。#!/bin/bash BROKERS="kfq1 kfq2 kfq3 kfq4 kfq5 kfq6" APPHOME="/opt/apps/kafka_10.1" A...
阅读(799) 评论(0)

KafkaStreams–架构

说明: 本文转载地址:http://blog.csdn.net/ransom0512/article/details/52105379 本文对原翻译进行了补充,加上了自己的理解。本文是Confluent Platform 3.0版本中对于Kafka Streams的翻译。 原文地址:https://docs.confluent.io/3.0.0/streams/index.html 看了很...
阅读(1207) 评论(0)

kafka Stream概念

1.Kafka Stream?Kafka Streams是一套处理分析Kafka中存储数据的客户端类库,处理完的数据或者写回Kafka,或者发送给外部系统。它构建在一些重要的流处理概念之上:区分事件时间和处理时间、开窗的支持、简单有效的状态管理等。Kafka Streams入门的门槛很低:很容易编写单机的示例程序,然后通过在多台机器上运行多个实例即可水平扩展从而达到高吞吐量。Kafka Stream...
阅读(3739) 评论(0)

sparkStreaming集成Kafka

这几天看了spark集成Kafka,消费Kafka数据并向Kafka发送数据,仿照官方样例写了两个小例子。在此分享一下。 1.添加Kafka的repository 2.DirectKafkaWordCountDemo代码展示 3.kafkaProducer代码展示 4.从Kafka 集群中消费数据并处理后再存入Kafka代码展示 本案例中使用的Kafka为三个broker一个zookeeper的Kafka...
阅读(1265) 评论(0)

kafka 伪集群搭建及java代码实现

在搭建kafka 我是花费了一些时间,其实这个并不难,只是我想使用docker 搭建遇到了一些宿主机荷容器通信问题,所以耽误了一段时间。下面我分享的是本地搭建Kafka伪集群。主要分为以下几步。 第一步,下载zookeeper 和kafka 第二步,解压并修改配置参数 第三步,构建kafka集群 第四步,编写java代码第一步,下载zookeeper 和kafkazookeeper 的下砸和...
阅读(2510) 评论(0)

kafka剖析

本文讲解:kafka理念 kafka与其它消息系统对比 kafka特性 kafka的存储 Message持久化和缓存 kafka 性能 Consumer 状态--消息交付语义 拉取系统 producer负载均衡 producer异步发送kafka的一些设计理念:1、关注大吞吐量,而不是别的特性 2、针对实时性场景 3、关于消息被处理的状态是在consumer端维护,而不是由ka...
阅读(868) 评论(0)

kafka初识

简介Kafka 是 linkedin 用于日志处理的分布式消息队列,同时支持离 线和在线日志处理。kafka 对消息保存时根据 Topic 进行归类,发送 消息者成为 Producer,消息接受者成为 Consumer,此外 kafka 集群有 多个 kafka 实例组成,每个实例(server)称为 broker。无论是 kafka 集群,还是 producer 和 consumer 都依赖于 z...
阅读(342) 评论(0)
    个人资料
    • 访问:640185次
    • 积分:9011
    • 等级:
    • 排名:第2312名
    • 原创:305篇
    • 转载:34篇
    • 译文:0篇
    • 评论:209条
    博客专栏