2019年06月_Terry无敌

原创 kafka2.0系列之(6) Kafka客户端API实现数据生产消费

前言发布和订阅是kafka的重要功能之一，而实现这一功能最好的方式可能就是使用kafka提供的客户端进行编码开发，下面使用kafka官方文档进行示例程序实现数据生成消费,Kafka服务使用之间搭建的环境。客户端依赖打开文档页面，API文档将生产者API，消费者API依赖加入maven项目pom.xml文件<dependency> <groupId>or...

2019-06-14 11:47:07 1164

原创 kafka2.0系列之(5) Kafka Streams之Wordcount应用程序

Kafka StreamsKafka Streams是一个客户端库，用于构建任务关键型实时应用程序和微服务，其中输入和/或输出数据存储在Kafka集群中。 Kafka Streams结合了在客户端编写和部署标准Java和Scala应用程序的简单性以及Kafka服务器端集群技术的优势，使这些应用程序具有高度可扩展性，弹性，容错性，分布式等等。前面搭建kafka之后，创建一个主题连接生产者与消费...

2019-06-11 22:24:09 550

原创 kafka2.0系列之(4) Kafka Connect导入/导出数据

Kafka ConnectKafka Connect是一个可扩展的、可靠的在kafka和其他系统之间流传输的数据工具，通过运行连接器，实现与外部系统交互的自定义逻辑，从其他来源的数据或将数据从Kafka导出到其他系统。下面使用连接器运行Kafka Connect，将数据从文件导入Kafka主题并将数据从Kafka主题导出到文件。准备消息文件切换到目录$KAFKA HOME,将消息写入文件te...

2019-06-09 19:49:23 1707

原创 kafka2.0系列之(3) 基于Centos7.6安装Zookeeper

前言前面说到kafka使用自带的zookeeper进行主题，元数据进行监控，由于真实环境至少是一个单节点，现在进行zookeeper服务centos7.6上安装，然后将kafka切换过来,后期将搭建kafka，zookeeper集群。Zookeeper简介zookeeper从这个单词来看就是动物园管理者，抽象到IT界就是服务资源协调监控相关嘛。看下官网的介绍简单点说:ZooKeeper是...

2019-06-07 20:52:01 26993

原创 kafka2.0系列之(2) kafka快速开始

说明kafka所有文章均基于版本 Kafka 2.2.0java版本最低为Java 8所有配置均使用默认安装配置下载解压Apache官方提供的下载镜像查看 release版本,然后下载稳定版本到服务器合适的位置$ wget http://mirrors.tuna.tsinghua.edu.cn/apache/kafka/2.2.0/kafka_2.12-2.2.0.tgz $ ...

2019-06-03 21:54:15 1348

原创 kafka2.0系列之(1) 认识kafka

说明kafka所有文章均基于版本 Kafka 2.2.0java版本最低为Java 8所有配置均使用默认安装配置下载解压$ wget http://mirrors.tuna.tsinghua.edu.cn/apache/kafka/2.2.0/kafka_2.12-2.2.0.tgz $ tar -xzf kafka_2.12-2.2.0.tgz$ cd kafka_2.12-...

2019-06-02 12:45:46 615

行走的IT