![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
kafka
加油妹妹
写的博客如果云里雾里,还有什么意义
展开
-
Kafka 概述 和 kafka shell操作
Kafka官方文档:kafka.apache.org/intro Kafka概述 根据官网解释: 1、发布和订阅消息的一个企业级系统 2、高效处理实时数据 3、安全的在一个分布式系统以容错的方式存储。 1、发布和订阅消息的一个企业级系统 2、以容错的方式存储流数据 3、实时处理流数据 消息中间件:生产者和消费者 举个栗子: 妈妈:生产者 你:消费者...原创 2018-08-17 21:31:24 · 1034 阅读 · 0 评论 -
整合Flume和kafka完成实时数据采集
整合Flume和kafka完成实时数据采集 kafka和Flume都有发送和接收数据功能,为什么还需要配合使用呢,个人认为,Flume是一个数据采集工具,只管采集和发送,并没有存储功能,做不到缓存,接收到如果不能及时消费信息,会有数据丢失的风险,kafka完全可以解决这个问题,kafka自带存储,可以先接收,再慢慢消费,做日志缓存应该是更为合适的。 当然,没...原创 2018-08-17 22:25:24 · 2991 阅读 · 0 评论 -
Kafka 初级Api操作
1、操作前提 Kafka集成了Producer/Consumer连接Broker的客户端工具,但是在消息处理方面,这两者主要用于服务端(Broker)的简单操作,如: 1、启动zookeeper:./zkServer.sh start 2、启动Kafka:./kafka-server-start.sh -deamon $KAFKA_HOME/config/server.properti...原创 2018-08-21 22:42:23 · 182 阅读 · 0 评论