![](https://img-blog.csdnimg.cn/2021042421223545.jpeg?x-oss-process=image/resize,m_fixed,h_224,w_224)
kafka
kafka那些事
Colin_lqk
ETL,数据分析,大数据,数据仓库,Hadoop
展开
-
Kafka这些知识知道吗?
Kafka: 定位:分布式的消息队列系统,同时提供数据分布式缓存功能(默认7天)削峰,解耦(高内聚,低耦合) 消息持久化到磁盘,达到O(1)访问速度,预读和后写,对磁盘的顺序访问(比内存随机访问还要快) Streaming(分布式的实时计算框架) Kafka目标成为队列平台 基本组件: Broker:每一台机器是一个Broker Producer:日志消息生产者,主要写数据 Consumer:日志消息消费者,主要读数据 Topic:是虚拟概念,不同的consumer去指定的topic去读数据,不同prod原创 2020-09-09 19:40:47 · 90 阅读 · 0 评论 -
kafka(二)安装及测试
kafka 安装 kafka操作 (1)创建topic 新建一个topic kafka-topics.sh --zookeeper localhost:2181 --create --replication-factor 1 --topic test --partitions 1 查看topic kafka-topics.sh --zookeeper localhost:2181 --list 删除topic kafka-topics.sh --delete --zookeeper localh原创 2020-09-01 09:04:04 · 105 阅读 · 0 评论 -
Kafka(一)kafka介绍
一、简介 Kafka是由Apache软件基金会开发的一个开源流处理平台,由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者在网站中的所有动作流数据。 这种动作(网页浏览,搜索和其他用户的行动)是在现代网络上的许多社会功能的一个关键因素。 这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。 对于像Hadoop一样的日志数据和离线分析系统,但又要求实时处理的限制,这是一个可行的解决方案。Kafka的目的是通过Hadoop的并行加载机制来统一线上和离线的消息原创 2020-09-01 09:03:34 · 211 阅读 · 0 评论 -
Java操作kafka生产者&消费者
Java 操作 kafka的生产者,发送消息“message,”加上随机数 Java 操作 kafka的消费者,接收生产端发送的消息,并打印出来 首先启动Zookeeper zkServer.sh start 再开启kafka服务: kafka-server-start.sh $KAFKA_HOME/config/server.properties 生产者: package com.lm.java; import org.apache.kafka.clients.producer.KafkaProduc原创 2020-08-27 14:44:37 · 300 阅读 · 0 评论