kafka
大数据kafka
奋斗的IT小白菜
这个作者很懒,什么都没留下…
展开
-
模拟生成随机数据并写入kafka
这里模拟生成 登录数据和付费数据效果:代码LoginBeanimport scala.beans.BeanPropertycase class LoginBean() extends Serializable { // BeanProperty 自动加载 get set 方法 @BeanProperty var event_name : String = _ //事件名 @BeanProperty var event_time : String = _ .原创 2022-02-07 23:27:24 · 1408 阅读 · 0 评论 -
flume和kafka整合——采集实时日志落地到hdfs
flume和kafka整合——采集实时日志落地到hdfs一、采用架构二、 前期准备2.1 虚拟机配置2.2 启动hadoop集群2.3 启动zookeeper集群,kafka集群三、编写配置文件3.1 slave1创建flume-kafka.conf3.2 slave3 创建kafka-flume.conf3.3 创建kafka的topic3.4 启动flume配置测试一、采用架构flume 采用架构exec-source + memory-channel + kafka-sinkkafka-so原创 2020-10-25 16:50:41 · 1871 阅读 · 0 评论 -
Kafka监控系统Kafka Eagle安装和使用
一、下载安装Kafka Eagle监控系统是一款用来监控Kafka集群的工具,支持管理多个Kafka集群、管理Kafka主题(包含查看、删除、创建等)、消费者组合消费者实例监控、消息阻塞告警、Kafka集群健康状态查看等。1.1 下载安装包http://download.smartloli.org/...原创 2020-02-28 17:14:30 · 591 阅读 · 0 评论 -
java调用kafka的API生产者和消费者
一、 Producer API1.1消息发送流程Kafka 的 Producer 发送消息采用的是异步发送的方式。在消息发送的过程中,涉及到了两个线程——main 线程和 Sender 线程,以及一个线程共享变量——RecordAccumulator。main 线程将消息发送给 RecordAccumulator,Sender 线程不断从 RecordAccumulator 中拉取消息发送...原创 2020-02-27 19:25:52 · 456 阅读 · 0 评论 -
Kafka入门集群部署
一、Kafka 概述Kafka 是一个分布式的基于发布/订阅模式的消息队列(Message Queue),主要应用于大数据实时处理领域。二、消息队列的两种模式(1)点对点模式(一对一,消费者主动拉取数据,消息收到后消息清除)消息生产者生产消息发送到Queue中,然后消息消费者从Queue中取出并且消费消息。消息被消费以后,queue 中不再有存储,所以消息消费者不可能消费到已经被消费的...原创 2020-02-26 12:42:02 · 378 阅读 · 0 评论