夏天小厨的博客

KafKa在ZooKeeper上的存储结构首先 我们先了解一下kafka在zookeeper上的文件结构，进入一台zookeeper主机，输入命令 bin/zkCli.sh  进入交互模式，ls出zk的根目录，如下图KafKa在ZooKeeper上的文件结构这篇文章我们分析一下上图中除了zookeeper的其他文件夹对于kafka来说都是什么含义。zk-root根目录包含6个k...

我们在搭建kafka集群时，根据业务目标不一样，对配置文件的修改补充也会有一些不同。在查看kafka的config目录之后，发现里面有很多的配置文件，但正在需要修改的有1、producer.properties:生产端的配置文件；2、consumer.properties:消费端的配置文件；3、server.properties:服务端的配置文件。其中最为重要的应该属于服务端的配置文件。这里，小厨...

上一篇技术博客讲解了kafka基本原理以及kafka分布式集群搭建方法，需要这些知识的小伙伴可以查看小厨的《Kafka原理介绍及其分布式安装使用》。本篇博客主要内容是一些kafka的常规操作，包括kafka-topic操作、kafka-producer操作、kafka-consumer操作。良心出品。。。。。1  Kafka-Topic操作添加：新增一个Kafka topic：“mobil...

今天看到特别励志的一段话，加工一下送给大家。智能产品改变世界，代码改变智能产品，你改变代码    ===推出==》  你改变世界。对，没错，你现在正在做的，就是在改变世界。1  Kafka简介Kafka是一个分布式发布（pub）—订阅（Sub）消息系统，消息中间件。由linkedin使用scala编写，用作LinkedIn的活动流（Activity Stream）和运营数据处理管道（Pip...

 一、为什么要集成Flume和Kafka我们很多人在在使用Flume和kafka时，都会问一句为什么要将Flume和Kafka集成？那首先就应该明白业务需求，一般使用Flume+Kafka架构都是希望完成实时流式的日志处理，后面再连接上Flink/Storm/Spark Streaming等流式实时处理技术，从而完成日志实时解析的目标。第一、如果Flume直接对接实时计算框架，当数据采集速...

前段时间需要配合kylin的流式计算，所以用java写了一个producer的程序，每秒向topic中产生数据，kylin则作为Topic的Consumer。主要的功能就是随机产生一些数据，这个程序里面主要的点个人认为是：时间戳的随机生成，发送JSON数据格式。直接上点干货，任何问题都可以在下方评论，小厨尽全力解决。package com.bigdata.kylin;import jav...

《一份详细的Kylin执行样例——基于kylin2.5.0》一文中，小厨介绍了如何使用kylin，今天开辟一个新路线，个人感觉随着时代的发展，数据实时分析会成为主力军，因为今天介绍一下Kafka+kylin，流式构建cube。kylin是从1.5版本开始，引入Streaming Table，目的是减少OLAP分析的延时，到目前的2.5.0版本 Streaming做的已经相当较成熟了。主要方法：...

上篇文章我们描述了如何通过继承RichSourceFunction来实现自定义的Source。本篇中我们将继续讲述如何通过connector读取源数据，并将读取的数据存入到其他数据存储系统中，主要的思路就是Flink作为消费者来消费Kafka Topic中的数据，并将数据实时的插入到mysql/Hbase中。数据格式是模拟网站的点击日志：city,loginTime(登录时间)，OS(操作系统)，...