关注
分享
Apache Kafka是一个分布式消息发布订阅系统。它最初由LinkedIn公司基于独特的设计实现为一个分布式的提交日志系统( a distributed commit log)，，之后成为Apache项目的一部分。Kafka系统快速、可扩展并且可持久化。它的分区特性，可复制和可容错都是其不错的特
睡覺了
我现在能做的，便是以一段拙劣的文字来祭奠我那段流逝的岁月
展开
-
Kafa_Consumer
import org.apache.kafka.clients.consumer.ConsumerConfig;import org.apache.kafka.clients.consumer.ConsumerRecord;import org.apache.kafka.clients.consumer.ConsumerRecords;import org.apache.kafka.clients.consumer.KafkaConsumer;import java.util.Arrays;i.原创 2020-08-06 14:58:17 · 541 阅读 · 0 评论 -
Kafka_mysql_数据生产
entitypackage com.entity;/** * Created by 一个蔡狗 on 2020/7/13. */public class tblNpsDetailedRelevance { /** * entity 层 */ private String detailed_id; // 主 id private String bank_code; private String recvteleno; p原创 2020-07-29 15:08:25 · 348 阅读 · 0 评论 -
Kafka Cluster operations
Kafka集群操作1、创建topic创建一个名字为test的主题， 有三个分区，有两个副本node001执行以下命令来创建topiccd /export/servers/kafka_2.11-1.0.0bin/kafka-topics.sh --create --zookeeper node001:2181 --replication-factor 2 --partitions...原创 2020-04-01 07:53:55 · 7068 阅读 · 0 评论 -
Kafka The installation
kafka集群环境搭建1、初始化环境准备安装jdk，安装zookeeper并保证zk服务正常启动2、下载安装包并上传解压通过以下地址进行下载安装包node01执行以下命令，下载并解压cd /export/softwareswget http://archive.apache.org/dist/kafka/1.0.0/kafka_2.11-1.0.0.tgztar–...原创 2020-04-01 07:54:04 · 7038 阅读 · 0 评论 -
Kafka The production data （partition）
pom <dependencies> <!-- https://mvnrepository.com/artifact/org.apache.kafka/kafka-clients --> <dependency> <groupId>org.apache.kafka</grou...原创 2020-04-01 07:54:14 · 6918 阅读 · 0 评论 -
Kafka The production data （manual）
pom <dependencies> <!-- https://mvnrepository.com/artifact/org.apache.kafka/kafka-clients --> <dependency> <groupId>org.apache.kafka</grou...原创 2020-04-01 07:54:20 · 7060 阅读 · 0 评论 -
Kafka The production data （automatic）
pom <dependencies> <!-- https://mvnrepository.com/artifact/org.apache.kafka/kafka-clients --> <dependency> <groupId>org.apache.kafka</gro...原创 2020-04-01 07:54:26 · 7405 阅读 · 0 评论 -
Kafka Training topic 二
pom <dependencies> <!-- https://mvnrepository.com/artifact/org.apache.kafka/kafka-clients --> <dependency> <groupId>org.apache.kafka</grou...原创 2020-03-31 10:45:18 · 6277 阅读 · 0 评论 -
Kafka Training topic 一
pom <dependencies> <!-- https://mvnrepository.com/artifact/org.apache.kafka/kafka-clients --> <dependency> <groupId>org.apache.kafka</grou...原创 2020-03-31 10:47:56 · 6909 阅读 · 0 评论 -
Kafka Conclusion
Kafka生态系统四大角色，生产者(Producer)、kafka集群(Broker)、消费者(Consumer)、zookeeper 每个消费者都必须属于一个消费组，一个组内的消费者可以多个。 一个Topic可以有1到多个多个分区（Partition） 一个分区可以有1到多个segment。 每个segment可以有由一个log和一个index组...原创 2020-03-31 10:27:28 · 6255 阅读 · 0 评论 -
Kafka 基本介绍
1、kafka的基本介绍官网：http://kafka.apache.org/kafka是最初由linkedin公司开发的，使用scala语言编写Kafka 是一个 分布式的, 分区的, 多副本的, 多订阅者的 消息发布 订阅系统 （分布式MQ系统），可以用于搜索日志，监控日志，访问日志等Kafka is a distributed,partitioned,replica...原创 2020-03-19 18:41:10 · 7089 阅读 · 0 评论 -
kafka 初步介绍
Kafka离线系统流程 中 会使用到 kafka ，实施业务系统 也会使用 kafka。Kafka 具备数据存储能力，具备数据计算能力。但是存储能力没有 HDFS 好， 计算能力没有 MR/Spark 好1、消息队列的介绍消息（Message）：是指在应用之间传送的数据，消息可以非常简单，比如只包含文本字符串，也可以更复杂，可能包含嵌入对象。消息队列（Message Qu...原创 2020-03-17 16:22:18 · 6637 阅读 · 0 评论