首次探索消息队列——kafka

1.kafka消息队列（基于发布订阅模式的消息队列，应用于大数据实时处理领域）

• 1.点对点模式（一对一，消费者主动拉去，使用后删除）
• 2.发布订阅模式（一对多，很多消费者消费，消费后不删除，记住自己消费到的地方）
• celery是基于任务的队列，而不是消息

2.基础架构

• 1.方便扩展，提高吞吐量，一个topic分为多个partition
• 2.配合分区设计，提出消费者组概念，组内消费者并进行消费
• 3.提高可用性，为每个partition增加若干副本，类似于NameNode Ha
  

3.kafka的安装

• 1.解压kafka tar -zxf kafka_2.11-0.11.0.0.taz -C /opt/module/
• 2.删除压缩包 rm kafka_2.11-0.11.0.0.tgz
• 3.进入下一级目录 cd /opt/module/
• 4.该文件夹名字 mv kafka_2.11-0.11.0.0/ kafka
• 5.添加环境变量
• 6.更改配置文件
• 7.分发环境变量

4.kafka的启动

• 1.先启动zookeeper
• 2.kafka -server-start.sh -daemon config/server.properties
• 3.占用端口9092

5.kafka的命令行操作（基本用不到）

1.查看当前服务器中所有的topic

kafka-topic.sh --list --zookeeper hadoop102:2181

2.新建topic

kafka-topics.sh --create --zookeeper hadoop102.2181 --toopic first --replication-factor 2 --pantitons2

//replication-factor 2两个分区，两个副本

3.查看分区

//查看分区
kafka-topics.sh --list -zookeeper hadoop102.2181
//查看分区详情信息
kafka-topics.sh --list --describe -zookeeper hadoop102.2181 --topic first