安装Kafka与flume联合使用
Kafka的作用:消峰(消息队列,先进先出)
scala写的消息队列,常用于日志。消息队列简单理解就是生产者把实时性不强的数据丢入队列,消费者从队列中取出并处理。比如秒杀时可以把非常多的请求写入队列,再依次取出。很多程序都需要写日志,可以先写入kafka,再依次写入数据库,可以提高主程序性能
和解耦
Kafka是linkedin开源的MQ系统,主要特点是基于Pull的模式来处理消息消费,追求高吞吐量,一开始的目的就是用于日志收集和传输,0.8开始支持复制,不支持事务,适合产生大量数据的互联网服务的数据收集业务
使用Scala编写,它以可水平扩展和高吞吐率而被广泛使用。
安装kafka步骤:
//启动步骤
[root@bigdata bin]# kafka-server-start.sh /opt/bigdata/kafka010/config/server.properties
官网下载:kafka — 消息中间界
版本型号根据自己的zookeeper版本酌定。
把下载的文件托到虚拟机中
//解压
[root@bigdata ~]# tar -zxvf kafka_2.11-0.10.0.1
//移动到新目录
[root@bigdata ~]# mv kafka_2.11-0.10.0.1 bigdata/kafka010
[root@bigdata ~]# cd /opt/bigdata/kafka010/config/
[root@bigdata config]# ls
server.properties
//配置config/server.properties服务器
[root@bigdata config]# vi ser