Kafka
关注
分享
扫一扫
大数据nb
大数据流浪法师
个人兴趣领域：大数据、人工智能、游戏Fix技术
展开
-
Kafka 监控运维工具：Kafka-eagle
Kafka 监控运维工具：Kafka-eagle使用背景在开发工作中，消费在Kafka集群中消息，数据变化是我们关注的问题，当业务前提不复杂时，我们可以使用Kafka 命令提供带有Zookeeper客户端工具的工具，可以轻松完成我们的工作。随着业务的复杂性，增加Group和 Topic，那么我们使用Kafka提供命令工具，已经感到无能为力，那么Kafka监控系统目前尤为重要，我们需要观察 消费...原创 2020-03-22 19:38:37 · 745 阅读 · 0 评论 -
Kafka JavaAPI Consumer内容示例
基础的Consumer内容示例：package com.czxy.demo02;import org.apache.kafka.clients.consumer.ConsumerRecord;import org.apache.kafka.clients.consumer.ConsumerRecords;import org.apache.kafka.clients.consumer.K...原创 2020-03-22 18:40:05 · 298 阅读 · 0 评论 -
Kafka JavaAPI Producer内容示例
如果你想创建一个Producer来生产数据，那么你需要有一个Topic。可以执行以下命令创建Topic//bin/kafka-topics.sh --create --zookeeper hadoop01:2181 --replication-factor 2 --partitions 3 --topic student--create代表创建--zookeeper zkhost:po...原创 2020-03-22 18:34:45 · 335 阅读 · 0 评论 -
Kafka 集群一键启动脚本
kafka一键启动脚本kafkaStart-all.sh#!/bin/bashBROKERS="hadoop01 hadoop02 hadoop03"KAFKA_HOME="/export/servers/kafka_2.11-1.0.0"for broker in $BROKERSdo echo "INFO:starting kafka server on $...原创 2020-03-18 09:11:05 · 510 阅读 · 1 评论 -
Kafka JavaAPI所需的MAVEN的POM文件
Kafka JavaAPI所需的MAVEN的POM文件<dependencies><!-- https://mvnrepository.com/artifact/org.apache.kafka/kafka-clients --><dependency> <groupId>org.apache.kafka</groupId>...原创 2020-03-17 17:25:26 · 3923 阅读 · 0 评论 -
Kafka 集群操作指令
文章目录Kafka集群操作指令创建主题查看主题命令生产者生产数据消费者消费数据运行describe topics命令增加topic分区数增加配置删除配置删除topicKafka集群操作指令创建主题创建一个名字为test的主题， 有三个分区，有两个副本hadoop01执行以下命令来创建topiccd /export/servers/kafka_2.11-1.0.0bin/kafka-to...原创 2020-03-17 17:24:06 · 266 阅读 · 0 评论 -
Kafka 集群安装
kafka集群环境搭建前提已安装jdk已安装zookeeper并保证zk服务正常启动下载安装包并解压通过以下地址进行下载安装包hadoop01执行以下命令，下载并解压cd /export/softwareswget http://archive.apache.org/dist/kafka/1.0.0/kafka_2.11-1.0.0.tgztar –zxvf kafka_2...原创 2020-03-17 17:17:05 · 111 阅读 · 0 评论 -
Kafka 各组件概念总结
文章目录Apache Kafka各组件概念总结Producer（生产者）Topic（主题）Partition（分区）Partition的副本数SegmentPartition的offsetkafka分区与消费组的关系ConsumerApache Kafka各组件概念总结Producer（生产者）producer主要是用于生产消息，是kafka当中的消息生产者，生产的消息通过topic进行归类...原创 2020-03-17 16:32:07 · 781 阅读 · 0 评论 -
Kafka 架构
Kafka基本架构生产者API允许应用程序发布记录流至一个或者多个kafka的主题（topics）。消费者API允许应用程序订阅一个或者多个主题，并处理这些主题接收到的记录流。StreamsAPI允许应用程序充当流处理器（stream processor），从一个或者多个主题获取输入流，并生产一个输出流到一个或 者多个主题，能够有效的变化输入流为输出流。Connect...原创 2020-03-17 16:12:06 · 137 阅读 · 0 评论 -
Kafka 概念
kafka基本概念Apache Kafka 官网：http://kafka.apache.org/kafka是一个分布式，分区的，多副本的，多订阅者的日志系统（分布式MQ系统），可以用于搜索日志，监控日志，访问日志等。kafka对消息保存时根据Topic进行归类，发送消息者成为Producer,消息接受者成为Consumer,此外kafka集群有多个kafka实例组成，每个实例(server...原创 2020-03-17 15:54:08 · 98 阅读 · 0 评论 -
Kafka 消息队列概念
消息队列消息（Message）：是指在应用之间传送的数据，消息可以非常简单，比如只包含文本字符串，也可以更复杂，可能包含嵌入对象。消息队列（Message Queue）：是一种应用间的通信方式，消息发送后可以立即返回，有消息系统来确保信息的可靠专递，消息发布者只管把消息发布到MQ中而不管谁来取，消息使用者只管从MQ中取消息而不管谁发布的，这样发布者和使用者都不用知道对方的存在Kafka消息队...原创 2020-03-17 15:46:42 · 245 阅读 · 0 评论