基于Docker搭建单机版Kafka、RabbitMQ、Redis、RocketMQ、MySQL

基于Docker搭建单机版Kafka、RabbitMQ、Redis、RocketMQ、MySQL

1.安装单机版Kafka

环境：

centos7.5

Docker version 20.10.12, build e91ed57

**zk默认端口：2181 **

kafka默认端口：9092

拉取zookeeper并运行

#拉去zookeeper镜像
 docker pull wurstmeister/zookeeper
 #运行zookeeper容器
 docker run -d --name zookeeper -p 2181:2181 -t wurstmeister/zookeeper

拉取kafka镜像并运行

#拉去kafka镜像
 docker pull wurstmeister/kafka
 #运行kakfa进行
 docker run -d --name kafka -p 9092:9092 --link zookeeper -e KAFKA_ZOOKEEPER_CONNECT=你的ip:2181 -e KAFKA_ADVERTISED_HOST_NAME=你的ip -e KAFKA_ADVERTISED_PORT=9092 -v /etc/localtime:/etc/localtime wurstmeister/kafka

• 命令配置

  KAFKA_ZOOKEEPER_CONNECT ：指定 zookeeper 的 “地址:端口”，请更换自己的ip和端口；

  KAFKA_ADVERTISED_HOST_NAME：kafka 安装机器ip;

• 注意
  启动kafka后,如果连接不上zookeeper，提示
  Socket error occurred: xxx.xxx.x.xxx:2181: Host is unreachable (org.apache.zookeeper.ClientCnxn)

• 防火墙放行2181端口，命令(CentOS 7)

  firewall-cmd --add-port=2181/tcp --permanent
  systemctl restart firewalld
  

  9092端口可能也需要加入防火墙策略，具体根据日志提示
  我遇到的情况：telnet 2181是通的，但还是要加防火墙策略才能正常启动kafka)

2.安装单机版RabbitMQ

docker pull rabbitmq:management
 
 docker run -di --name myrabbit -e RABBITMQ_DEFAULT_USER=admin -e RABBITMQ_DEFAULT_PASS=admin -p 15672:15672 -p 5672:5672 -p 25672:25672 -p 61613:61613 -p 1883:1883 rabbitmq:management

3.安装单机版Redis

• 测试版，未作容器挂载重启容器数据丢失

docker run -itd --name (启动容器的名称) -p 映射端口:redis启动端口 redis --requirepass “启动密码”

docker run -itd --name my_redis -p 7000:6379 redis --requirepass "password"

• 实战版

docker run  -p 6379:6379 --name myredis --privileged=true -v /app/redis/redis.conf:/etc/redis/redis.conf -v /app/redis/data:/data -d redis:6.0.8 redis-server /etc/redis/redis.conf

修改配置文件，修改宿主机目录下的配置文件即可/app/redis/redis.conf

#开启redis数据持久化 可选  
appendonly yes  
#重启redis
docker restart myredis 

4.安装单机版RocketMQ

1.创建namesrv服务

1.拉取镜像

docker pull rocketmqinc/rocketmq

2.创建namesrv数据存储路径

mkdir -p  /docker/rocketmq/data/namesrv/logs   /docker/rocketmq/data/namesrv/store

3.构建namesrv容器

docker run -d \
--restart=always \
--name rmqnamesrv \
-p 9876:9876 \
-v /docker/rocketmq/data/namesrv/logs:/root/logs \
-v /docker/rocketmq/data/namesrv/store:/root/store \
-e "MAX_POSSIBLE_HEAP=100000000" \
rocketmqinc/rocketmq \
sh mqnamesrv 

参数	说明
-d	以守护进程的方式启动
- -restart=always	docker重启时候容器自动重启
- -name rmqnamesrv	把容器的名字设置为rmqnamesrv
-p 9876:9876	把容器内的端口9876挂载到宿主机9876上面（9876时rocket的默认端口）
-v /docker/rocketmq/data/namesrv/logs:/root/logs	把容器内的/root/logs日志目录挂载到宿主机的 /docker/rocketmq/data/namesrv/logs目录
-v /docker/rocketmq/data/namesrv/store:/root/store	把容器内的/root/store数据存储目录挂载到宿主机的 /docker/rocketmq/data/namesrv目录
rmqnamesrv	容器的名字
-e “MAX_POSSIBLE_HEAP=100000000”	设置容器的最大堆内存为100000000
rocketmqinc/rocketmq	使用的镜像名称
sh mqnamesrv	启动namesrv服务

2.创建broker节点

1.创建broker数据存储路径

mkdir -p /docker/rocketmq/data/broker/logs /docker/rocketmq/data/broker/store /docker/rocketmq/conf

2.创建配置文件

vi /docker/rocketmq/conf/broker.conf

broker.conf内容

# 所属集群名称，如果节点较多可以配置多个
brokerClusterName = DefaultCluster
#broker名称，master和slave使用相同的名称，表明他们的主从关系
brokerName = broker-a
#0表示Master，大于0表示不同的slave
brokerId = 0
#表示几点做消息删除动作，默认是凌晨4点
deleteWhen = 04
#在磁盘上保留消息的时长，单位是小时
fileReservedTime = 48
#有三个值：SYNC_MASTER，ASYNC_MASTER，SLAVE；同步和异步表示Master和Slave之间同步数据的机制；
brokerRole = ASYNC_MASTER
#刷盘策略，取值为：ASYNC_FLUSH，SYNC_FLUSH表示同步刷盘和异步刷盘；SYNC_FLUSH消息写入磁盘后才返回成功状态，ASYNC_FLUSH不需要；
flushDiskType = ASYNC_FLUSH
# 设置broker节点所在服务器的ip地址,需根据自身实际情况填写
brokerIP1 = 192.168.109.124
# 磁盘使用达到80%之后,生产者再写入消息会报错 CODE: 14 DESC: service not available now, maybe disk full
diskMaxUsedSpaceRatio=80

3.构建broker容器

docker run -d  \
--restart=always \
--name rmqbroker \
--link rmqnamesrv:namesrv \
-p 10911:10911 \
-p 10909:10909 \
-v  /docker/rocketmq/data/broker/logs:/root/logs \
-v  /docker/rocketmq/data/broker/store:/root/store \
-v /docker/rocketmq/conf/broker.conf:/opt/rocketmq/conf/broker.conf \
-e "NAMESRV_ADDR=namesrv:9876" \
-e "MAX_POSSIBLE_HEAP=200000000" \
rocketmqinc/rocketmq \
sh mqbroker -c /opt/rocketmq-4.4.0/conf/broker.conf 

参数	说明
-d	以守护进程的方式启动
–restart=always	docker重启时候镜像自动重启
- -name rmqbroker	把容器的名字设置为rmqbroker
- --link rmqnamesrv:namesrv	和rmqnamesrv容器通信
-p 10911:10911	把容器的非vip通道端口挂载到宿主机
-p 10909:10909	把容器的vip通道端口挂载到宿主机
-e “NAMESRV_ADDR=namesrv:9876”	指定namesrv的地址为本机namesrv的ip地址:9876
-e “MAX_POSSIBLE_HEAP=200000000”	指定broker服务的最大堆内存
rocketmqinc/rocketmq	使用的镜像名称
sh mqbroker -c /opt/rocketmq/conf/broker.conf	指定配置文件启动broker节点

3.创建rockermq-console控制台服务

1.拉取镜像

docker pull pangliang/rocketmq-console-ng

2.构建rockermq-console容器

namesrv.addr=192.168.109.124:9876，这里namesrv.addr前面配置时指定的ip和端口

docker run -d \
--restart=always \
--name rmqadmin \
-e "JAVA_OPTS=-Drocketmq.namesrv.addr=192.168.109.124:9876 \
-Dcom.rocketmq.sendMessageWithVIPChannel=false" \
-p 9999:8080 \
pangliang/rocketmq-console-ng

参数	说明
-d	以守护进程的方式启动
- -restart=always	docker重启时候镜像自动重启
- -name rmqadmin	把容器的名字设置为rmqadmin
-e "JAVA_OPTS=-Drocketmq.namesrv.addr=192.168.109.124:9876	设置namesrv服务的ip地址
-Dcom.rocketmq.sendMessageWithVIPChannel=false"	不使用vip通道发送消息
–p 9999:8080	把容器内的端口8080挂载到宿主机上的9999端口

3.需要关闭防火墙或者开放namesrv和broker端口

如果不设置,控制台服务将无法访问namesrv服务
异常信息如下
org.apache.rocketmq.remoting.exception.RemotingConnectException: connect to failed

4.开放指定端口

firewall-cmd --permanent --zone=public --add-port=9876/tcp
firewall-cmd --permanent --zone=public --add-port=10911/tcp
# 立即生效
firewall-cmd --reload

5.网页访问

查看控制台信息

http://192.168.109.124:9999/

5.安装单机版MySQL

1.docker hub上面查找mysql镜像

docker search mysql

2.从docker hub上(阿里云加速器)拉取mysql镜像到本地标签为5.7

docker pull mysql:5.7

3.启动mysql容器

# -d后台运行 ，-p 宿主机端口:容器端口 --privileged=true 容器卷映射到宿主机授权
# -v 宿主机目录:容器目录 数据卷可以映射多个文件|目录
#--name 运行容器别名
# 要运行的镜像名:tag
docker run -d -p 3307:3306 --privileged=true \
-v /llp/mysql/log:/var/log/mysql \
-v /llp/mysql/data:/var/lib/mysql \
-v /llp/mysql/conf:/etc/mysql/conf.d \
-e MYSQL_ROOT_PASSWORD=123456 --name mysql mysql:5.7

字符集乱码问题

cd /llp/mysql/conf/
vim my.conf

[client]
default_character_set=utf8mb4
[mysqld]
collation_server = utf8mb4_general_ci
character_set_server = utf8mb4

重启mysql容器，再次查看字符集