安装Kafka与flume联合使用

最新推荐文章于 2023-05-29 18:58:07 发布

TT15751097576

最新推荐文章于 2023-05-29 18:58:07 发布

阅读量433

点赞数 1

分类专栏：大数据基础篇文章标签：安装Kafka与flume联合使用

本文链接：https://blog.csdn.net/TT15751097576/article/details/102473310

版权

Kafka的作用：消峰（消息队列，先进先出）

scala写的消息队列，常用于日志。消息队列简单理解就是生产者把实时性不强的数据丢入队列，消费者从队列中取出并处理。比如秒杀时可以把非常多的请求写入队列，再依次取出。很多程序都需要写日志，可以先写入kafka，再依次写入数据库，可以提高主程序性能
和解耦

Kafka是linkedin开源的MQ系统，主要特点是基于Pull的模式来处理消息消费，追求高吞吐量，一开始的目的就是用于日志收集和传输，0.8开始支持复制，不支持事务，适合产生大量数据的互联网服务的数据收集业务

使用Scala编写，它以可水平扩展和高吞吐率而被广泛使用。

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-CElkzCyE-1570644739527)(C:\Users\tt\AppData\Roaming\Typora\typora-user-images\1570600253076.png)]$

//启动步骤
[root@bigdata bin]# kafka-server-start.sh /opt/bigdata/kafka010/config/server.properties

官网下载：kafka — 消息中间界

版本型号根据自己的zookeeper版本酌定。

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-IqmIdEJc-1570644739529)(C:\Users\tt\AppData\Roaming\Typora\typora-user-images\1570618704665.png)]$

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-O4QmyHqy-1570644739529)(C:\Users\tt\AppData\Roaming\Typora\typora-user-images\1570618731213.png)]$

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-9KM4qiBe-1570644739533)(C:\Users\tt\AppData\Roaming\Typora\typora-user-images\1570618810755.png)]$

把下载的文件托到虚拟机中

关注