kafka
Apache Kafka是一个分布式消息发布订阅系统。它最初由LinkedIn公司基于独特的设计实现为一个分布式的提交日志系统( a distributed commit log),,之后成为Apache项目的一部分。Kafka系统快速、可扩展并且可持久化。它的分区特性,可复制和可容错都是其不错的特
睡覺了
我现在能做的,便是以一段拙劣的文字来祭奠我那段流逝的岁月
展开
-
Kafa_Consumer
import org.apache.kafka.clients.consumer.ConsumerConfig;import org.apache.kafka.clients.consumer.ConsumerRecord;import org.apache.kafka.clients.consumer.ConsumerRecords;import org.apache.kafka.clients.consumer.KafkaConsumer;import java.util.Arrays;i.原创 2020-08-06 14:58:17 · 549 阅读 · 0 评论 -
Kafka_mysql_数据生产
entitypackage com.entity;/** * Created by 一个蔡狗 on 2020/7/13. */public class tblNpsDetailedRelevance { /** * entity 层 */ private String detailed_id; // 主 id private String bank_code; private String recvteleno; p原创 2020-07-29 15:08:25 · 355 阅读 · 0 评论 -
Kafka Cluster operations
Kafka集群操作1、创建topic创建一个名字为test的主题, 有三个分区,有两个副本node001执行以下命令来创建topiccd /export/servers/kafka_2.11-1.0.0bin/kafka-topics.sh --create --zookeeper node001:2181 --replication-factor 2 --partitions...原创 2020-04-01 07:53:55 · 7069 阅读 · 0 评论 -
Kafka The installation
kafka集群环境搭建1、初始化环境准备安装jdk,安装zookeeper并保证zk服务正常启动2、下载安装包并上传解压通过以下地址进行下载安装包node01执行以下命令,下载并解压cd /export/softwareswget http://archive.apache.org/dist/kafka/1.0.0/kafka_2.11-1.0.0.tgztar–...原创 2020-04-01 07:54:04 · 7038 阅读 · 0 评论 -
Kafka The production data (partition)
pom <dependencies> <!-- https://mvnrepository.com/artifact/org.apache.kafka/kafka-clients --> <dependency> <groupId>org.apache.kafka</grou...原创 2020-04-01 07:54:14 · 6918 阅读 · 0 评论 -
Kafka The production data (manual)
pom <dependencies> <!-- https://mvnrepository.com/artifact/org.apache.kafka/kafka-clients --> <dependency> <groupId>org.apache.kafka</grou...原创 2020-04-01 07:54:20 · 7062 阅读 · 0 评论 -
Kafka The production data (automatic)
pom <dependencies> <!-- https://mvnrepository.com/artifact/org.apache.kafka/kafka-clients --> <dependency> <groupId>org.apache.kafka</gro...原创 2020-04-01 07:54:26 · 7426 阅读 · 0 评论 -
Kafka Training topic 二
pom <dependencies> <!-- https://mvnrepository.com/artifact/org.apache.kafka/kafka-clients --> <dependency> <groupId>org.apache.kafka</grou...原创 2020-03-31 10:45:18 · 6278 阅读 · 0 评论 -
Kafka Training topic 一
pom <dependencies> <!-- https://mvnrepository.com/artifact/org.apache.kafka/kafka-clients --> <dependency> <groupId>org.apache.kafka</grou...原创 2020-03-31 10:47:56 · 6911 阅读 · 0 评论 -
Kafka Conclusion
Kafka生态系统四大角色,生产者(Producer)、kafka集群(Broker)、消费者(Consumer)、zookeeper 每个消费者都必须属于一个消费组,一个组内的消费者可以多个。 一个Topic可以有1到多个多个分区(Partition) 一个分区可以有1到多个segment。 每个segment可以有由一个log和一个index组...原创 2020-03-31 10:27:28 · 6255 阅读 · 0 评论 -
Kafka 基本介绍
1、kafka的基本介绍官网:http://kafka.apache.org/kafka是最初由linkedin公司开发的,使用scala语言编写Kafka 是一个 分布式的, 分区的, 多副本的, 多订阅者的 消息发布 订阅系统 (分布式MQ系统),可以用于搜索日志,监控日志,访问日志等Kafka is a distributed,partitioned,replica...原创 2020-03-19 18:41:10 · 7090 阅读 · 0 评论 -
kafka 初步介绍
Kafka离线系统流程 中 会使用到 kafka ,实施业务系统 也会使用 kafka。Kafka 具备数据存储能力,具备数据计算能力。但是存储能力没有 HDFS 好, 计算能力没有 MR/Spark 好1、消息队列的介绍消息(Message):是指在应用之间传送的数据,消息可以非常简单,比如只包含文本字符串,也可以更复杂,可能包含嵌入对象。消息队列(Message Qu...原创 2020-03-17 16:22:18 · 6637 阅读 · 0 评论