【KAFKA】Kafka集群搭建(安全认证SASL/PLAIN),并和springBoot整合

Kafka集群搭建(安全认证SASL/PLAIN),并和springBoot整合

搭建三台机器的kafka集群。 用外置的zookeeper做配置中心管理。 为了不让配置中心也产生单点，所以我们需要先搭建一个三个节点的配置中心集群；

1 环境：

OS版本：        Centos7.4
kafka版本：    kafka_2.11-2.2.0
ZK版本:         zookeeper-3.4.14
JDK版本:         jdk_1.8

服务器列表（此处设置了域名）：
192.168.0.85    gmg_server02
192.168.0.86    gmg_server03
192.168.0.90    gmg_server04

安装目录：
/home/programs/zookeeper
/home/programs/kafka
/home/programs/jdk

2 服务端设置

2.1 安装和配置zookeeper

请参照：https://blog.csdn.net/shgh_2004/article/details/89282066

2.2 安装和配置kafka

2.2.1 解压
tar -zxvf kafka_2.11-2.2.0.tgz -C /home/programs/kafka/
对于单机系统，解压好了即可直接运行zookeeper和kafka服务。

 2.2.2 修改配置文件
a) 配置kafka（server.properties）

vi conf/server.properties

# 设置broker的唯一标识（集群唯一随便设置）。
broker.id=2 

# 设置带SASL安全认证的服务监听（域名或者IP修改为机器的正式IP或者域名就好 其他照抄）
listeners=SASL_PLAINTEXT://gmg_server02:9092
security.inter.broker.protocol=SASL_PLAINTEXT
sasl.enabled.mechanisms=PLAIN
sasl.mechanism.inter.broker.protocol=PLAIN
authorizer.class.name=kafka.security.auth.SimpleAclAuthorizer
allow.everyone.if.no.acl.found=true

# 设置log的目录 （这个在清理掉topic的时候会有用）
log.dirs=/home/programs/kafka/data/logs

# 连接的zookeeper 集群地址列表
zookeeper.connect=gmg_server01:2181,gmg_server02:2181,gmg_server03:2181

b) 创建JAAS配置文件（kafka的认证账户信息）

定义链接Kafka Broker时所需要的用户名密码及broker各个节点之间相互通信的用户名密码，这部分配置定义在KafkaServer节，文件如下：

touch config/kafka_server_jaas.conf
KafkaServer {
    org.apache.kafka.common.security.plain.PlainLoginModule required
    username="admin"
    password="admin-shiguanghui"
    user_admin="admin-shiguanghui";
};

c) 配置KAFKA_OPTS环境变量

为KAFKA_OPTS设置启动参数。
export KAFKA_HEAP_OPTS="-Xmx2G -Xms2G"
增加如下：
export KAFKA_HEAP_OPTS="-Xmx2G -Xms2G -Djava.security.auth.login.config=/home/programs/kafka/config/kafka_server_jaas.conf"

2.3 启动服务

首先启动zookeeper机器。 然后轮流启动kafka集群。
/home/programs/kafka/bin/kafka-server-start.sh -daemon /home/programs/kafka/config/server.properties

3 客户端设置

这里的没有做kafka自带客户端的设置，主要演示一下应用程序客户端的设置。 我们是使用springboot的应用客户端。

3.1 项目中引入依赖：

<dependency>
    <groupId>org.springframework.boot</groupId>
    <artifactId>spring-boot-starter-web</artifactId>
</dependency>
<dependency>
    <groupId>org.springframework.kafka</groupId>
    <artifactId>spring-kafka</artifactId>
</dependency>

3.2 在resources下面新建文件：kafka_client_jaas.conf

KafkaClient {
 org.apache.kafka.common.security.plain.PlainLoginModule required
 username="admin"
 password="admin-shiguanghui";
};

3.3 application.yml的配置

spring:
  kafka:
      bootstrap-servers: gmg_server01:9092,gmg_server02:9092,gmg_server03:9092
      topic-name: test-topic
    consumer:
        group-id: prd_group
      # earliest:当各分区下有已提交的offset时，从提交的offset开始消费；无提交的offset时，从头开始消费
      # latest:当各分区下有已提交的offset时，从提交的offset开始消费；无提交的offset时，消费新产生的该分区下的数据
      # none:topic各分区都存在已提交的offset时，从offset后开始消费；只要有一个分区不存在已提交的offset，则抛出异常
      auto-offset-reset: latest
      max-poll-records: 100
      concurrency: 10
      # key/value的反序列化
      key-deserializer: org.apache.kafka.common.serialization.StringDeserializer
      value-deserializer: org.apache.kafka.common.serialization.StringDeserializer
      properties:
        sasl.mechanism: PLAIN
        security.protocol: SASL_PLAINTEXT
    consumer-extra:
      # 是否批量处理
      batch-listener: true
    producer:
      # key/value的序列化
      key-serializer: org.apache.kafka.common.serialization.StringSerializer
      value-serializer: org.apache.kafka.common.serialization.StringSerializer
      properties:
        sasl.mechanism: PLAIN
        security.protocol: SASL_PLAINTEXT
      # 批量抓取
      batch-size: 4096
      # 缓存容量
      buffer-memory: 40960

3.5 程序启动类：

@SpringBootApplication
public class APIApplication extends SpringBootServletInitializer {
    static {
            // 这里可能会有坑。因为这种方式springboot无法读取jar包中配置文件。需要自行处理
            String config = ResourceUtils.getFile("classpath:kafka_client_jaas.conf").getAbsolutePath();
        System.setProperty("java.security.auth.login.config", config);
    }

    public static void main(String[] args) {
        SpringApplication.run(APIApplication.class, args);
    }
}

3.6 消息生产者

@Component
public class Sender {
    @Autowired
    private KafkaTemplate<String, String> template;

    public void send(String msg) {

        this.template.sendDefault("test-msg", msg);
        System.out.println("发送消息：" + msg);
    }
}

3.6 消息消费者

@Component
public class Receiver {
    @KafkaListener(topics = {${spring.kafka.consumer.topic-name}}, groupId = "${spring.kafka.consumer.group-id}")
    public void receiveMessage(ConsumerRecord<String, String> record) {
        System.out.println("接收消息key = " + record.key() + "、value = " + record.value());
    }
}

3.7 controller 

@RestController
public class KafkaController {
    @Autowired
    private Sender sender;

    @PostMapping("/{msg}")
    public String send(@PathVariable("msg") String msg) {
        sender.send(msg);
        return msg;
    }
}