docker-compose基础开发环境搭建(mysql、redis、minio、kafka)

shenyijie

已于 2024-03-28 16:11:07 修改

阅读量541

点赞数 11

分类专栏：微服务文章标签： docker mysql redis kafka

于 2024-03-27 23:18:21 首次发布

本文链接：https://blog.csdn.net/ejet_shen/article/details/137076430

版权

微服务专栏收录该内容

2 篇文章 0 订阅

订阅专栏

docker搭建基础开发环境(mysql、redis、minio、kafka)

基于docker-compose文件，一个命令搭建基础开发环境。提示：可快速部署开发环境。

1、docker部署mysql

提示：主要包括mysql配置文件my.cnf； mysql-docker.yml

mysql-docker.yml【docker-compose文件】

version: "3"
services:
   cc-mysql:
     container_name: cc-mysql
     image: mysql:8.0.33
     # 设置访问密码
     environment:
       MYSQL_ROOT_PASSWORD: shenyijie
       TZ:  Asia/Shanghai
    # 访问端口映射
     ports:
       - '13306:3306'
     restart: always
     privileged: true
     # 映射物理主机对应目录
     volumes:
       - '/etc/localtime:/etc/localtime:ro'
       - '/hya/data/mysql/logs:/var/log/mysql:rw'
       - '/hya/data/mysql/conf:/etc/mysql/conf.d:rw'
       - '/hya/data/mysql/mysql-data:/var/lib/mysql:rw'

my.cnf【配置信息】

# 服务端参数配置
[mysqld]
# MySQL启动用户
user=mysql
# 创建新表时将使用的默认存储引擎
default-storage-engine=INNODB
# 设置mysql服务端默认字符集
character-set-server=utf8mb4
# 数据库字符集对应一些排序等规则，注意要和character-set-server对应
collation-server=utf8mb4_general_ci

# pid文件所在目录
pid-file=/var/lib/mysql/mysqld.pid
# 用于本地连接的socket套接字
socket=/var/lib/mysql/mysqld.sock
#数据文件存放的目录
datadir=/var/lib/mysql
#bind-address=127.0.0.1
# 定义清除过期日志的时间(这里设置为7天)
expire_logs_days=7

# 设置client连接mysql时的字符集,防止乱码
init_connect='SET NAMES utf8mb4'

# 是否对sql语句大小写敏感，1表示不敏感
lower_case_table_names=1

# 执行sql的模式，规定了sql的安全等级, 暂时屏蔽，my.cnf文件中配置报错
#sql_mode=STRICT_TRANS_TABLES,NO_AUTO_CREATE_USER,NO_ENGINE_SUBSTITUTION

# 事务隔离级别，默认为可重复读，mysql默认可重复读级别（此级别下可能参数很多间隙锁，影响性能）
transaction_isolation=READ-COMMITTED

# TIMESTAMP如果没有显示声明NOT NULL，允许NULL值
explicit_defaults_for_timestamp=true

#它控制着mysqld进程能使用的最大文件描述(FD)符数量。
#需要注意的是这个变量的值并不一定是你设定的值，mysqld会在系统允许的情况下尽量获取更多的FD数量
open_files_limit=65535

# 允许最大连接数
max_connections=200

#最大错误连接数
max_connect_errors=600

[client]
default-character-set=utf8mb4  # 设置mysql客户端默认字符集

启动mysql命令【脚本命令】

docker-compose -f /Users/shenyijie/data/docker-file/mysql-docker.yml -p mysql up -d

2、docker部署redis

提示：主要包括redis配置文件redis.conf； redis-docker.yml

在这里插入图片描述

redis-docker.yml【docker-compose文件】

version: "3"
services:
  cc-redis:
    restart: always
    image: redis:6.2.7
    container_name: cc-redis
    restart: always
    hostname: cc-redis
    environment:
      REDIS_PASSWORD: X2I^KH!v
      TZ: Asia/Shanghai
    ports:
      - "6379:6379"
    volumes:
      - '/etc/localtime:/etc/localtime:ro'
      - '/Users/shenyijie/data/soft/redis/config/redis.conf:/etc/redis/redis.conf:rw'
      - '/Users/shenyijie/data/soft/redis/data:/data:rw'
    command:
      redis-server /etc/redis/redis.conf --appendonly yes

redis.conf【配置信息】

# 开启保护
protected-mode yes

# 绑定监听IP地址
bind 0.0.0.0

# 自定义密码
#requirepass X2I^KH!v
port 6379
timeout 0

# 900s内至少一次写操作则执行bgsave进行RDB持久化
save 900 1
save 300 10
save 60 10000

rdbcompression yes
dbfilename dump.rdb
dir /data
appendonly yes
appendfsync everysec

redis启动命令【脚本命令】

docker-compose -f /Users/shenyijie/data/docker-file/redis-docker.yml -p redis up -d

docker部署kafka

提示：由于kafka3.0以下版本依赖zookeeper，所以本脚本一键部署，包含zookeeper。
zookeeper配置：zoo.cfg
kafka配置：server.properties
在这里插入图片描述

kafka-docker.yml【docker-compose文件】

version: "3"
services:       
   cc-zookeeper: 
     restart: unless-stopped
     image: wurstmeister/zookeeper:latest
     container_name: cc-zookeeper
     hostname: cc-zookeeper
     privileged: true
     ports:
       - "2181:2181"
     volumes:
       - "/Users/shenyijie/data/soft/zookeeper/conf:/opt/zookeeper/conf:rw"  
       - "/Users/shenyijie/data/soft/zookeeper/data:/opt/zookeeper/data:rw"
       - "/Users/shenyijie/data/soft/zookeeper/logs:/opt/zookeeper/datalog:rw"
         
   kafka: 
     restart: unless-stopped
     image: wurstmeister/kafka:latest
     container_name: cc-kafka
     privileged: true
     depends_on:
      - cc-zookeeper
     environment:
       KAFKA_BROKER_ID: 0 
       KAFKA_ZOOKEEPER_CONNECT: cc-zookeeper:2181
       KAFKA_ADVERTISED_HOST_NAME: localhost
       KAFKA_LISTENERS: PLAINTEXT://0.0.0.0:9092
       TZ:  Asia/Shanghai
     volumes:
       - "/Users/shenyijie/data/soft/kafka/config:/opt/kafka/config"
       - "/Users/shenyijie/data/soft/kafka/logs:/opt/kafka/logs"
       - "/Users/shenyijie/data/soft/kafka:/kafka"
     ports:
       - "9092:9092"

zookeeper配置zoo.cfg【配置信息】

#  心跳间隔
tickTime=2000 
# 初始化客户端连接时间
initLimit=10
# 最长不能超过多少个tickTime的时间长度，总的时间长度就是5*2000=10秒。
syncLimit=5

dataDir=/opt/zookeeper/data

dataLogDir=/opt/zookeeper/datalog
# the port at which the clients will connect
clientPort=2181
# 保留3个快照数量 
autopurge.snapRetainCount=3
# 每3小时清除一次日志
autopurge.purgeInterval=1
#使用外网ip时本机zookeeper的ip地址应该配置成0.0.0.0:2888:3888
#server.1=0.0.0.0:2888:3888
#server.2=xxx.xxx.xxx.160:2888:3888
#server.3=xxx.xxx.xxx.7:2888:3888
#观察者模式的节点如下
#server.4=xxx.xxx.xxx.205:2888:3888:observer

kafka配置server.properties【配置信息】

# #broker的全局唯一编号，不能重复
broker.id=0

#删除topic功能使能
delete.topic.enable=true

#处理网络请求的线程数量
num.network.threads=3

#用来处理磁盘IO的现成数量
num.io.threads=8

#发送套接字的缓冲区大小
socket.send.buffer.bytes=102400

#接收套接字的缓冲区大小
socket.receive.buffer.bytes=102400

#请求套接字的缓冲区大小
socket.request.max.bytes=104857600

#kafka数据的存储位置
log.dirs=/kafka/kafka-logs-89450856a4d1

#指定Topic的分区数量，这里设置为3。默认只有一个分区，设置多分区可以支持并发读写和负载均衡
num.partitions=3

#副本，默认只有一个副本，不会进行数据备份和冗余
replication.factor=3

#用来恢复和清理data下数据的线程数量
num.recovery.threads.per.data.dir=1

#segment文件保留的最长时间，超时将被删除
log.retention.hours=168

#配置连接Zookeeper集群地址
zookeeper.connect=cc-zookeeper:2181

#zookeeper连接超时时间
zookeeper.connection.timeout.ms=60000