Docker安装Mysql、Mongodb、Redis及数据迁移


声明:这是我在大学毕业后进入第一家互联网工作学习的内容


背景

公司买了新磁盘、内存条,需要重新装机,领导要求这次要用docker部署数据库到服务器上。

安装mysql

环境准备

宿主机需要安装docker
机器性能32c 128G 外挂硬盘到/data目录(数据库建议外挂磁盘)

创建持久化存储文件目录

[root@localhost ~]# mkdir -vp /data/mysql/mysql3306/{data,logs,tmp}

创建配置文件

[root@localhost ~]#vim /etc/my.cnf

[client]   
user=root
password=123456
port    = 3306
socket = /var/lib/mysql/mysql3306/data/mysql.sock 

[mysql]  
prompt="\u@dev-data-01 \R:\m:\s [\d]> " 
no-auto-rehash 
default-character-set=utf8mb4  

[mysqld]  
user    = mysql
port    = 3306
basedir = /usr/local/mysql
datadir = /var/lib/mysql/mysql3306/data
socket  = /var/lib/mysql/mysql3306/data/mysql.sock
secure_file_priv=/var/lib/mysql/mysql3306
performance_schema = 1
character_set_server=utf8mb4   
open_files_limit = 655350  
transaction_isolation = READ-COMMITTED
interactive_timeout = 31536000
wait_timeout = 31536000
skip_name_resolve = 1  。
lower_case_table_names=1    
back_log = 1024
max_connections = 10240    
max_connect_errors = 1000000
table_open_cache = 20480
table_definition_cache = 20480
table_open_cache_instances = 64
thread_stack = 512K
external-locking = FALSE
max_allowed_packet = 32M
sort_buffer_size = 4M
join_buffer_size = 4M
thread_cache_size = 15360
tmp_table_size = 32M
max_heap_table_size = 32M
lock_wait_timeout = 3600
explicit_defaults_for_timestamp = 1
sort_buffer_size = 33554432

slow_query_log_file = /var/lib/mysql/mysql3306/logs/slow.log
log-error = /var/lib/mysql/mysql3306/logs/error.log
log-bin = /var/lib/mysql/mysql3306/logs/mybinlog
slow_query_log = 1
log_timestamps = SYSTEM
long_query_time = 1
log_queries_not_using_indexes =1
log_throttle_queries_not_using_indexes = 60
min_examined_row_limit = 100
log_slow_admin_statements = 1
log_slow_slave_statements = 1
expire_logs_days = 7
log_warnings = 1
binlog_cache_size = 4M
max_binlog_cache_size = 4G
max_binlog_size = 1G
binlog_checksum = 1
binlog_format = row
sync_binlog = 1

server-id = 213306
master_info_repository = TABLE
relay_log_info_repository = TABLE
gtid_mode = on
enforce-gtid-consistency = on
log_slave_updates  = on
enforce_gtid_consistency = 1
relay_log = relay.log
relay_log_recovery = 1
relay-log-purge = 1
binlog_gtid_simple_recovery = 1
slave_skip_errors = ddl_exist_errors
slave-rows-search-algorithms = 'INDEX_SCAN,HASH_SCAN'

innodb_undo_directory = /var/lib/mysql/mysql3306/data/undolog
internal_tmp_disk_storage_engine = InnoDB
innodb_page_size = 8192
innodb_buffer_pool_size = 40960m
innodb_buffer_pool_instances = 4
innodb_buffer_pool_load_at_startup = 1
innodb_buffer_pool_dump_at_shutdown = 1
innodb_data_file_path = ibdata1:1G:autoextend
innodb_flush_log_at_trx_commit = 1
innodb_log_buffer_size = 32M
innodb_log_file_size = 1G
innodb_log_files_in_group = 4
innodb_max_undo_log_size = 4G
innodb_undo_tablespaces = 95
innodb_io_capacity = 2000
innodb_io_capacity_max = 4000
innodb_flush_sync = 0
innodb_flush_neighbors = 0
innodb_lru_scan_depth = 4000
innodb_lock_wait_timeout = 5
innodb_write_io_threads = 8
innodb_read_io_threads = 8
innodb_purge_threads = 4
innodb_page_cleaners = 4
innodb_max_dirty_pages_pct = 50
innodb_flush_method = O_DIRECT
innodb_checksum_algorithm = crc32
innodb_rollback_on_timeout = 1
innodb_print_all_deadlocks = 1
innodb_file_per_table = 1
innodb_online_alter_log_max_size = 4G
innodb_stats_on_metadata = 0
innodb_checksums = 1
innodb_undo_logs = 128
innodb_status_file = 1
innodb_status_output = 0
innodb_status_output_locks = 0
innodb_large_prefix = 1
innodb_thread_concurrency = 0
innodb_sync_spin_loops = 100
innodb_spin_wait_delay = 30
innodb_open_files = 655350  
innodb_strict_mode = 1
innodb_sort_buffer_size = 67108864

innodb_monitor_enable="module_innodb"
innodb_monitor_enable="module_server"
innodb_monitor_enable="module_dml"
innodb_monitor_enable="module_ddl"
innodb_monitor_enable="module_trx"
innodb_monitor_enable="module_os"
innodb_monitor_enable="module_purge"
innodb_monitor_enable="module_log"
innodb_monitor_enable="module_lock"
innodb_monitor_enable="module_buffer"
innodb_monitor_enable="module_index"
innodb_monitor_enable="module_ibuf_system"
innodb_monitor_enable="module_buffer_page"
innodb_monitor_enable="module_adaptive_hash"


安装

#拉取镜像
[root@localhost ~]# docker pull mysql:5.7.28

#启动
[root@localhost ~]# docker run -itd --name mysql -p 3306:3306 --privileged=true --restart always -v /etc/my.cnf:/etc/mysql/my.cnf -v /data/mysql:/var/lib/mysql -e MYSQL_ROOT_PASSWORD=123456 mysql:5.7.28

参数说明:
–privileged=true 开启超级权限
-v /etc/my.cnf:/etc/mysql/my.cnf 把外面调优过后的配置文件挂载进去
-v /data/mysql:/var/lib/mysql
把持久化存储文件目录挂载到容器内部
–restart always Docker重启时,该容器自动启动

#添加超级管理员账号admin
[root@localhost data]# docker exec -it mysql bash
root@1ef730747ed4:/# mysql -uroot -p123456
mysql> GRANT ALL PRIVILEGES ON . TO ‘admin’@’%’ IDENTIFIED BY ‘123456’ WITH GRANT OPTION;
mysql> flush privileges;
mysql> exit

管理

docker stop/start mysql 关闭/启动

数据迁移

旧数据库机器执行

mysqldump -uroot -p123456 --all-databases  > all.sql
scp all.sql root@新机器ip:/root

新数据库机器执行

docker cp /root/all.sql mysql:/all.sql 
docker exec -it mysql bash  
mysql -uroot -p123456 mysql < all.sql      

安装mongodb

要求:
宿主机需要安装docker
外挂硬盘到/data目录(数据库建议外挂磁盘)

安装

#创建持久化存储文件目录
mkdir -vp /data/mongo
#拉取镜像
docker pull mongo:4.2.6

#启动mongo,由于数据需要迁移(包含了用户),所以不能先开启验证模式
docker run -itd --name mongo -p 27017:27017 -v /data/mongo:/data/db mongo:4.2.6 

-v /data/mongo:/data/db 把持久化存储文件目录挂载到容器内部

数据迁移

旧机器执行

mongodump -h 127.0.0.1 --port 27017 -uroot -p123456 -o /root/mongodb/
scp -r /root/mongodb/ root@ip:/root/mongodb/

新机器执行

docker cp /root/mongodb/ mongo:/
docker exec -it mongo bash
mongorestore /mongodb/

重启并开启权限验证

数据迁移完后,查看本地存储是否有数据了。如果存在继续后面的操作

docker rm -f mongo
docker run -itd --name mongo --restart always -p 27017:27017 -v /data/mongo:/data/db mongo:4.2.6 --auth

再次启动mongo就可以用以前的数据库账号密码登陆了

管理

docker stop/start mongo 关闭/启动

安装redis

要求redis版本>5.0
宿主机需要安装docker
机器性能32c 128G 外挂硬盘到/data目录(数据库建议外挂磁盘)

准备配置文件

[root@localhost ~]# mkdir -vp /data/redis-cluster
[root@localhost ~]# cd /data/redis-cluster
[root@localhost redis-cluster]# vi redis-cluster.tmpl
添加以下内容  
port ${PORT}
cluster-enabled yes
cluster-config-file nodes.conf
cluster-node-timeout 5000
cluster-announce-ip 172.31.26.53   #本机ip
cluster-announce-port ${PORT}
cluster-announce-bus-port 1${PORT}
appendonly yes
protected-mode no
#密码
masterauth 123456     
#密码
requirepass 123456    
bind 0.0.0.0
timeout 300
tcp-keepalive 300

创建集群配置文件

[root@localhost redis-cluster]# for port in $(seq 7010 7015); do   mkdir -p ./${port}/conf    && PORT=${port} envsubst < ./redis-cluster.tmpl > ./${port}/conf/redis.conf   && mkdir -p ./${port}/data; done

创建完成后看下目录结构

[root@localhost redis-cluster]# tree
├── 7010
│   ├── conf
│   │   └── redis.conf
│   └── data
├── 7011
│   ├── conf
│   │   └── redis.conf
│   └── data
├── 7012
│   ├── conf
│   │   └── redis.conf
│   └── data
├── 7013
│   ├── conf
│   │   └── redis.conf
│   └── data
├── 7014
│   ├── conf
│   │   └── redis.conf
│   └── data
├── 7015
│   ├── conf
│   │   └── redis.conf
│   └── data
└── redis-cluster.tmpl

拉镜像

docker pull redis

本示例镜像版本为latest,如果需要按照以下步骤安装集群,则只要要求redis版本是5.0以上 否则会出现问题

创建容器并指定IP

[root@localhost redis-cluster]# for port in $(seq 7010 7015); do    docker run -it -d -p ${port}:${port} -p 1${port}:1${port}   --privileged=true -v /data/redis-cluster/${port}/conf/redis.conf:/usr/local/etc/redis/redis.conf   --privileged=true -v /data/redis-cluster/${port}/data:/data   --restart always --name redis-${port} --net host   --sysctl net.core.somaxconn=1024 redis redis-server /usr/local/etc/redis/redis.conf; done

创建集群

进入容器

[root@localhost redis-cluster]# docker exec -it redis-7010 bash

如果需要密码,需要在命令最后加上-a passwd

redis-cli --cluster create 172.31.26.53:7010 172.31.26.53:7011 172.31.26.53:7012 172.31.26.53:7013 172.31.26.53:7014 172.31.26.53:7015 --cluster-replicas 1 -a 123456

总结

至此,mysql、mongodb、redis用docker部署完成,并完成迁移数据,如有问题请留言。

部署问题

1.mysql根据镜像不同需要调整里面挂载目录的路径,这点很坑,我出现过几次找不到挂载路径然后报错,因为容器里mysql启动是以你my.cnf为主的,所以你在my.cnf里没定义好那些容器里的路径就会启动失败,报错问题就是找不到相关路径。

2.mongodb最烦的就是数据导入的时候,如果你的用户名有密码,你需要开启免密登陆才能导入,我觉得特别搞笑,万一生产的数据库需要导入,总不至于要先关闭mongodb开启免密登陆,导入完再开启密码登陆吧。。。还是我没找到导入的好方法,求教!!!

3.redis集群创建的时候,按照Docker最新Redis-cluster 集群配置 做会出现,本地网桥转发失败的情况,直观来看就是redis-cli create 集群的时候一直在等待,虽然你能看到这些本地网桥内的ip,但是他们就是不能加入,也是一个大坑,反正我直接将端口映射到本机就可以,搞不懂为啥那个作者非要一个网桥。。。

参考资料

docker run官方文档

Docker最新Redis-cluster 集群配置


版权声明:

原创不易,洗文可耻。除非注明,本博文章均为原创,转载请以链接形式标明本文地址。

  • 0
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值