# 1.1、操作系统推荐配置
4C*8G*40G磁盘
# 1.2、内核参数优化
# 系统参数需要留有swap空间,rabbitmq 启动进程用户打开文件数至少需要5万,yum安装时rabbitmq启动,源码安装时root启动。修改方法如下:
# CentOS5/6.X
cat /etc/security/limits.conf
* soft nofile 100000
* hard nofile 100000
* soft nproc 100000
* hard nproc 100000
* soft core 100000
* hard core 100000
# 在CentOS 7 / RHEL 7的系统中,使用Systemd替代了之前的SysV,因此 /etc/security/limits.conf 文件的配置作用域缩小了一些。
# limits.conf这里的配置,只适用于通过PAM认证登录用户的资源限制,它对systemd的service的资源限制不生效。
# 登录用户的限制,通过 /etc/security/limits.conf 和 limits.d 来配置。
# CentOS7.X
cat /etc/security/limits.conf
* soft nofile 65536
* hard nofile 65536
cat /etc/security/limits.d/20-nproc.conf
* soft nproc unlimited
* hard nproc unlimited
vi /etc/pam.d/login最后添加禁止调试文件
session required /lib/security/pam_limits.so
# systemd service的资源限制配置:
# 需要修改两个配置文件:
- /etc/security/limits.d/20-nproc.conf
- /etc/systemd/system.conf
# 全局的配置,放在文件 /etc/systemd/system.conf 和 /etc/systemd/user.conf。
# 同时,也会加载两个对应的目录中的所有.conf文件 /etc/systemd/system.conf.d/*.conf 和 /etc/systemd/user.conf.d/*.conf
# 其中,system.conf 是系统实例使用的,user.conf用户实例使用的。一般的sevice,使用system.conf中的配置即可。
# systemd.conf.d/*.conf 中配置会覆盖system.conf。
cat /etc/systemd/system.conf
DefaultLimitNOFILE=1024000 #这里需要修改
DefaultLimitNPROC=1024000 #这里也需要修改
DefaultLimitCORE=infinity
DefaultLimitNOFILE=655360
DefaultLimitNPROC=655360
sed -i '/^#DefaultLimitNOFILE=/aDefaultLimitNOFILE=655350' /etc/systemd/system.conf
sed -i '/^#DefaultLimitNPROC=/aDefaultLimitNPROC=655350' /etc/systemd/system.conf
# 注意:修改了system.conf后,需要重启系统才会生效。
# 针对单个Service,也可以设置,以nginx为例。
# 编辑 /usr/lib/systemd/system/nginx.service 文件,或者 /usr/lib/systemd/system/nginx.service.d/my-limit.conf 文件,做如下配置:
[Service]
LimitCORE=infinity
LimitNOFILE=100000
LimitNPROC=100000
# 查看一个进程的limit设置:cat /proc/YOUR-PID/limits
# 注意:
# /etc/security/limits.d/20-nproc.conf文件坑过,里面默认设置了非root用户的最大进程数为4096
# 内核优化
vi /etc/sysctl.d/99.sysctl.conf
#关闭ipv6
net.ipv6.conf.all.disable_ipv6 = 1
net.ipv6.conf.default.disable_ipv6 = 1
# 避免放大攻击
net.ipv4.icmp_echo_ignore_broadcasts = 1
# 开启恶意icmp错误消息保护
net.ipv4.icmp_ignore_bogus_error_responses = 1
#关闭路由转发
net.ipv4.ip_forward = 0
net.ipv4.conf.all.send_redirects = 0
net.ipv4.conf.default.send_redirects = 0
#开启反向路径过滤
net.ipv4.conf.all.rp_filter = 1
net.ipv4.conf.default.rp_filter = 1
#处理无源路由的包
net.ipv4.conf.all.accept_source_route = 0
net.ipv4.conf.default.accept_source_route = 0
#关闭sysrq功能
kernel.sysrq = 0
#core文件名中添加pid作为扩展名
kernel.core_uses_pid = 1
# 开启SYN洪水攻击保护
net.ipv4.tcp_syncookies = 1
#修改消息队列长度
kernel.msgmnb = 65536
kernel.msgmax = 65536
#设置最大内存共享段大小bytes
kernel.shmmax = 68719476736
kernel.shmall = 4294967296
#timewait的数量,默认180000
net.ipv4.tcp_max_tw_buckets = 6000
net.ipv4.tcp_sack = 1
net.ipv4.tcp_window_scaling = 1
net.ipv4.tcp_rmem = 4096 87380 4194304
net.ipv4.tcp_wmem = 4096 16384 4194304
net.core.wmem_default = 8388608
net.core.rmem_default = 8388608
net.core.rmem_max = 16777216
net.core.wmem_max = 16777216
#每个网络接口接收数据包的速率比内核处理这些包的速率快时,允许送到队列的数据包的最大数目
net.core.netdev_max_backlog = 262144
#限制仅仅是为了防止简单的DoS 攻击
net.ipv4.tcp_max_orphans = 3276800
#未收到客户端确认信息的连接请求的最大值
net.ipv4.tcp_max_syn_backlog = 262144
net.ipv4.tcp_timestamps = 0
#内核放弃建立连接之前发送SYNACK 包的数量
net.ipv4.tcp_synack_retries = 1
#内核放弃建立连接之前发送SYN 包的数量
net.ipv4.tcp_syn_retries = 2
#启用timewait 快速回收
net.ipv4.tcp_tw_recycle = 1
#开启重用。允许将TIME-WAIT sockets 重新用于新的TCP 连接
net.ipv4.tcp_tw_reuse = 1
net.ipv4.tcp_mem = 94500000 915000000 927000000
net.ipv4.tcp_fin_timeout = 1
#当keepalive 起用的时候,TCP 发送keepalive 消息的频度。缺省是2 小时
net.ipv4.tcp_keepalive_time = 30
#允许系统打开的端口范围
net.ipv4.ip_local_port_range = 1024 65000
#修改防火墙表大小,默认65536
#net.netfilter.nf_conntrack_max=655350
#net.netfilter.nf_conntrack_tcp_timeout_established=1200
# 确保无人能修改路由表
net.ipv4.conf.all.accept_redirects = 0
net.ipv4.conf.default.accept_redirects = 0
net.ipv4.conf.all.secure_redirects = 0
net.ipv4.conf.default.secure_redirects = 0
vm.max_map_count=655360
二、RabbitMQ-Server 安装配置
rabbitmq-server下载:
[http://www.rabbitmq.com/releases/rabbitmq-server/]
Erlang版本支持列表:
http://www.rabbitmq.com/which-erlang.html
Erlang下载:
https://github.com/rabbitmq/erlang-rpm/releases
https://pkgs.org/download/erlang
http://rpmfind.net/linux/rpm2html/search.php?query=erlang
http://www.erlang.org/downloads
#rabbitmq-3.6安装
#erlang install
rpm -ivh erlang-19.3.6.4-1.el6.x86_64.rpm
#require pkgs install
yum -y install socat
#(或: rpm -ivh tcp_wrappers tcp_wrappers-libs socat)
#rabbitmq-server install
rpm -ivh rabbitmq-server-3.6.14-1.el6.noarch.rpm
#start rabbitmq-server
/etc/init.d/rabbitmq-server start
#启用插件
rabbitmq-plugins list
rabbitmq-plugins enable rabbitmq_management
rabbitmq-plugins enable rabbitmq_mqtt
rabbitmq-plugins enable rabbitmq_web_mqtt
rabbitmq-plugins list
#用户管理-用户添加
rabbitmqctl list_users
rabbitmqctl add_user mquser ‘mqusers@mq!@#’
rabbitmqctl set_user_tags mquser administrator
rabbitmqctl set_permissions -p “/” mquser “." ".” “.*”
rabbitmqctl list_users
#用户管理-用户删除
rabbitmqctl delete_user mquser
#用户管理-修改用户密码
rabbitmqctl change_password mquser ‘mquser@mq!@#’
#启用guest用户(不推荐)
vim /usr/lib/rabbitmq/lib/rabbitmq_server-3.6.14/ebin/rabbit.app
删除 loopback_users 后<<“guest”>>中的guest,并重启rabbitmq,可通过任意IP使用guest账号登陆管理控制台。
service rabbitmq-server restart
netstat -luntp
打开浏览器登录:http://127.0.0.1:15672 55672也可以,直接跳转到下列web管理
登录 账号密码默认都是 guest
Rabbitmq默认日志路径:/var/log/rabbitmq/
- rabbit@{hostname}.log,输出rabbitmq运行相关的信息,如网络流量、用户、交换器、队列等信息
- rabbit@{hostname}-sasl.log,Erlang运行相关信息
#rabbitmq版本查看
rabbitmqctl -q status
三、RabbitMQ-Server 集群配置
1、修改host文件
192.168.1.22 rabbitmq1
192.168.1.23 rabbitmq2
192.168.1.24 rabbitmq3
PS:我们使用rabbitmq1做主服务,rabbitmq2做节点服务
2、复制cookie内容
首先停止RabbitMQ:
rabbitmqctl stop
/etc/init.d/rabbitmq-server stop
修改cookie文件,使得各节点的cookie内容一致
echo YZCUPNLBNOMPTDCUALZC > /var/lib/rabbitmq/.erlang.cookie
cookie同步完成之后启动,以detached方式启动
rabbitmq-server -detached
3、加入集群
将rabbitmq2 节点加入rabbitmq1 作为RAM类型节点
[root@rabbitmq2 ~]#rabbitmqctl stop_app
[root@rabbitmq2 ~]#rabbitmqctl reset
[root@rabbitmq2 ~]#rabbitmqctl join_cluster rabbit@rabbitmq1 --ram
[root@rabbitmq2 ~]#rabbitmqctl start_app
将rabbitmq3 节点加入rabbitmq1 作为disc类型节点
[root@rabbitmq3 ~]#rabbitmq stop_app
[root@rabbitmq3 ~]#rabbitmqctl reset
[root@rabbitmq3 ~]#rabbitmqctl join_cluster rabbit@rabbitmq1
[root@rabbitmq3 ~]#rabbitmqctl start_app
(rabbitmq集群节点有disc 和ram两种类型,一个集群中至少要有一个disc类型的节点,不指定默认加入为disc)
4、查看状态
完成之后可以用rabbitmqctl 命令查看相关信息
rabbitmqctl status //查看应用状态
rabbitmqctl cluster_status //查看集群信息
访问任意管理端界面查看
http://ip:15672
http://10.86.78.110:15672
到此简单集群部署完毕!
(如果某节点显示unavailable检查服务是否启动,管理扩展是否开启
rabbitmq-plugins enable rabbitmq_management)
5、RabbitMQ数据镜像
队列镜像,自动同步
Queue HA配置
默认情况下,集群中的队列存在于集群中单个节点上,这要看创建队列时声明在那个节点上创建,而exchange和binding则默认存在于集群中所有节点。
队列可以通过镜像来提高可用性,HA依赖rabbitmq cluster,所以队列镜像也不适合WAN部署,每个被镜像的队列包含一个master和一个或者多个slave,当master因任何原因故障时,最老的slave被提升为新的master。
发布到队列的消息被复制到所有的slave上,消费者无论连接那个node,都会连接到master;如果master确认要删除消息,那么所有slave就会删除队列中消息。
队列镜像可以提供queue的高可用性,但不能分担负载,因为所有参加的节点都做所有的工作。
5.1、配置队列镜像
通过policy来配置镜像,策略可在任何时候创建,比如先创建一个非镜像的队列,然后在镜像,反之亦然。
镜像队列和非镜像队列的区别是非镜像队列没有slaves,运行速度也比镜像队列快。
设置策略然后设置ha-mode,3中模式:all、exactly、nodes
每个队列都有一个home node,叫做queue master node
(1)、设置policy,以ha.开头的队列将会被镜像到集群其他所有节点,一个节点挂掉然后重启后需要手动同步队列消息
rabbitmqctl set_policy ha-all-queue "^ha\." '{"ha-mode":"all"}'
所有队列都镜像到其他节点
rabbitmqctl set_policy ha-all-queue "^" '{"ha-mode":"all","ha-sync-mode":"automatic"}'
说明:ha-sync-mode:automatic 自动同步到镜像节点
(2)、设置policy,以ha.开头的队列将会被镜像到集群其他所有节点,一个节点挂掉然后重启后会自动同步队列消息(我们生产环境采用这个方式)
rabbitmqctl set_policy ha-all-queue "^ha\." '{"ha-mode":"all","ha-sync-mode":"automatic"}'
问题:
配置镜像队列后,其中1台节点失败,队列内容是不会丢失,如果整个集群重启,队列中的消息内容仍然丢失,如何实现队列消息内容持久化那?
我的node也是跑在disk模式,创建见消息的时候也声明了持久化,为什么还是不行那?
因为创建消息的时候需要指定消息是否持久化,如果启用了消息的持久化的话,重启集群消息也不会丢失了,前提是创建的队列也应该是创建的持久化队列。
四、rabbitmq配置优化
配置文件目录:/etc/rabbitmq/rabbitmq.config
#默认是没有这个配置文件的,可以用如下命令生成:
cp /usr/share/doc/rabbitmq-server-3.6.14/rabbitmq.config.example /etc/rabbitmq/rabbitmq.config
RabbitMQ 网络分区问题处理:参考:https://www.jianshu.com/p/97a6395299fa
RabbitMQ网络分区原因:
1、局域网不稳定,网络抖动
2、集群 ABC 服务器之间通讯不稳定
3、…
rabbitmq配置优化:
cat rabbitmq.conf
[
{rabbit,
[
{loopback_users, []},
{vm_memory_high_watermark, 0.40},
#最大使用内存40%,erlang开始GC
#(vm_memory_high_watermark:内存阈值,默认为0.4。意思为物理内存的40%。40%的内存并不是内存的最大的限制,它是一个发布的节制,当达到40%时Erlang会做GC。
Erlang GC 在最坏情况下会消耗一倍的内存。最坏的情况是使用)
{vm_memory_high_watermark_paging_ratio, 0.8}, #32G内存,320.80.2时开始持久化磁盘,如机器内存16G,当RABBITMQ占用内存1.28G(160.40.2)时把内存数据放到磁盘。
{disk_free_limit, "10GB"}, #磁盘使用量剩余10G时,不收发消息
{hipe_compile, true}, #开启hipe,提高erlang性能
{collect_statistics_interval, 10000}, #统计刷新时间默认5秒,改成10秒
{cluster_partition_handling, autoheal} #网络优化参数,不稳定时用这个选项
]
}
].
cat rabbitmq-env.conf
RABBITMQ_NODENAME=rabbit@rabbitmq76 #节点名字,全局唯一
RABBITMQ_MNESIA_BASE=/data/rabbitmq/data #消息落地存放位置
RABBITMQ_LOG_BASE=/data/rabbitmq/log #日志位置
RABBITMQ_SERVER_ADDITIONAL_ERL_ARGS="+A 128" #默认65,server线程