linux kafka

zookeeper 安装

Zookeeper集群搭建

https://www.cnblogs.com/grimm/p/6732867.html

下载

稳定版

wget http://archive.apache.org/dist/zookeeper/zookeeper-3.4.6/zookeeper-3.4.6.tar.gz

http://mirror.bit.edu.cn/apache/zookeeper/zookeeper-3.4.10/zookeeper-3.4.10.tar.gz

解压

tar -zxvf zookeeper-3.4.10.tar.gz

cd conf

cp zoo.xx  zoo.conf

tickTime=2000
initLimit=10
syncLimit=5
dataDir=/opt/zookeeper/zkdata
dataLogDir=/opt/zookeeper/zkdatalog
clientPort=12181
server.1=192.1xxx:12888:13888
server.2=192.xxx:12888:13888
server.3=192.xxx:12888:13888
#server.1 这个1是服务器的标识也可以是其他的数字， 表示这个是第几号服务器，用来标识服务器，这个标识要写到快照目录下面myid文件里
#192.168.7.107为集群里的IP地址，第一个端口是master和slave之间的通信端口，默认是2888，第二个端口是leader选举的端口，集群刚启动的时候选举或者leader挂掉之后进行新的选举的端口默认是3888

echo "1" > /opt/zookeeper/zkdata/myid
#server2
echo "2" > /opt/zookeeper/zkdata/myid
#server3
echo "3" > /opt/zookeeper/zkdata/myid

1. 启动ZK服务:       sh bin/zkServer.sh start
2. 查看ZK服务状态: sh bin/zkServer.sh status
3. 停止ZK服务:       sh bin/zkServer.sh stop
4. 重启ZK服务:       sh bin/zkServer.sh restart

scala2.11.0 安装 

wget https://downloads.lightbend.com/scala/2.11.0/scala-2.11.0.tgz

tar -zxvf scala.xx -C /usr/local

mv scala.xx scala

vi /etc/profile

在文件/etc/profile底部添加环境变量

vi /etc/profile

export SCALA_HOME=/usr/local/scala

export PATH=$PATH:$SCALA_HOME/bin

source /etc/profile

kafka 安装

wget  http://mirror.bit.edu.cn/apache/kafka/2.0.0/kafka_2.11-2.0.0.tgz

（1）、启动kafka命令：
    #cd /opt/kafka_2.10-0.10.1.1/bin;
    # ./kafka-server-start.sh /opt/kafka_2.10-0.10.1.1/config/server.properties &;
（2）、停止kafka命令：
    # ./kafka-server-stop.sh
（3）、创建Topic：(创建一个名为test的topic，只有一个副本，一个分区。)

    #./kafka-topics.sh --create --zookeeper 127.0.0.1:2181 --replication-factor 1 --partitions 1 --topic test

（4）、列出所有Topic：
     
    ./bin/kafka-topics.sh -list -zookeeper 127.0.0.1:2181

        
（5）、启动Producer并发送消息：

    ./bin/kafka-console-producer.sh --broker-list localhost:9092 --topic huiyue

    ./kafka-console-producer.sh --broker-list xxx:9092 --topic test5
       
       （输入相应的消息，eg:hello kafka;按Ctrl+C结束）

（6）、启动Consumer并接收消息：
    
    
    ./bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning

./kafka-console-consumer.sh --bootstrap-server xxxx:9092 --topic test5 --from-beginning

./kafka-console-consumer --bootstrap-server localhost:9092 --topic test1 --from-beginning

(7) 启动消费组

./kafka-console-consumer.sh --bootstrap-server xxxx:9092 --topic test5 --from-beginning --consumer-property group.id=test5-group

./kafka-console-consumer.sh --bootstrap-server xxxx:9092 --topic image --from-beginning --consumer-property group.id=image-group

配置

advertised.host.name=127.0.0.1

advertised.port=9092

报错

[2017-09-26 08:26:45,015] FATAL [Kafka Server 1], Fatal error during KafkaServer startup. Prepare to shutdown (kafka.server.KafkaServer)

检查kafka是否启动

输入命令 jps

创建topic来验证是否创建成功
#创建Topic

./kafka-topics.sh --create --zookeeper 1xxxx:2181 --replication-factor 2 --partitions 1 --topic shuaige

--replication-factor 2   #复制两份

--partitions 1 #创建1个分区

--topic #主题为shuaige

(以下部分我们在代码部分实现功能)

'''在一台服务器上创建一个发布者'''#创建一个broker，发布者

./bin/kafka-console-producer.sh --broker-list 127.0.0.1:9092 --topic shuaige

php7安装kafka扩展

一、安装librdkafka

# cd /usr/local/src/
# git clone https://github.com/edenhill/librdkafka.git
# cd librdkafka
# ./configure
# make
# make install
# ln -s /usr/local/lib/librdkafka.so.1 /usr/lib/

7 支持 php 

https://github.com/wenzhenxi/See-KafKa

1、安装php-rdkafka
# cd /usr/local/src/
# git clone https://github.com/arnaud-lb/php-rdkafka.git
# cd php-rdkafka
# /usr/local/php/bin/phpize
# ./configure --with-php-config=/usr/local/php/bin/php-config
# make all -j 5  // 最多允许5 个编译命令执行 加快速度
# make install

报错

Cannot find autoconf. Please check your autoconf installation and the $PHP_AUTOCONF environment vari

执行下面的链接

https://blog.csdn.net/21aspnet/article/details/7471574

1、修改php.ini
# vi /etc/php.ini
php.ini 放在 php/lib 这个目录

##增加如下代码：##
extension=rdkafka

##查看是否安装成功：##
# /usr/local/php/bin/php  -m

php 安装扩展的方式 使用 phpize 

重启apache 

参考 https://www.cnblogs.com/luotianshuai/p/5206662.html