问题现象
-
我们的信控平台,需要实时展示交通信号机的实时灯态(红黄绿、通行进口流向、倒计时等)
-
现在的信号机,大多都支持国标2007协议或者2017协议,来实现硬件设备与其他平台的通信,主要是通过
socket
传递消息报文 -
当灯态变化时,路口前端的信号机设备,会通过socket协议将消息推送给我们的通信服务程序,通信服务将消息解析处理后,关联路口渠化等信息,处理包装后,再把信息通过
socket
广播推送给浏览器,前端代码使用websocket
接收 -
当用户访问平台时,打开首页,就一直会接收到灯态推送。接收到推送时,前端代码会把灯态信息在界面上实时渲染出来,这样客户就可以实时查看灯态、通行流向、倒计时等
-
某次平台更新部署后,发现界面上的倒计时没有了,查看了下通信服和网络,没发现问题。又去检查了下数据库里存储的灯态数据,发现数据库里的数据也是对的
-
按下
F12
键,打开浏览器的开发者模式,筛选“socket.io
”,重新刷新页面,发现socket
消息接收502
了(很难复现,没有当时的截图,截了个正常的)
-
查看
nginx
日志,发现报错如下(部分):
"GET /socket.io/ HTTP/1.1" 502 559 [error] 24#24: *1 connect() failed (111: Connection refused) while connecting to upstream
2023/06/26 13:50:12 [error] 24#24: *1839 connect() failed (111: Connection refused) while connecting to upstream, client: 172.16.1.96, server: 172.16.1.100, request: "GET /socket.io/?EIO=3&transport=polling&t=OZsGAi0 HTTP/1.1", upstream: "http://172.18.0.12:7754/socket.io/?EIO=3&transport=polling&t=OZsGAi0", host: "172.16.1.100", referrer: "http://172.16.1.100/main/live-view/map"
排查
- 我们使用
nginx
作为web
服务器,前端界面和一些请求的访问都通过nginx
- 我们的
nginx
是使用docker
部署的,它在docker-compose.yml
里配置如下:
# nginx服务,静态文件访问和反向代理
nginx:
image: nginx:1.20.2
container_name: nginx
ports:
- 80:80 #信控前端
depends_on:
- gateway-app
- data-center-app
volumes:
- ./volumes/nginx-html:/usr/share/nginx/html
- ./volumes/nginx-config:/etc/nginx/conf.d
- /etc/localtime:/etc/localtime
environment:
- TZ=Asia/Shanghai
restart: always
- 根据报错信息搜索了一堆,对照着查看和处理没什么效果,下面是其中一个处理方式:
- 这个错误通常是因为
Nginx
无法连接到后端的upstream
服务。可能的原因包括:
- upstream服务挂掉了或未启动
- 防火墙阻止了Nginx连接upstream服务
- upstream服务的IP地址或端口号配置错误
- upstream服务只监听了本地地址(如127.0.0.1),而Nginx尝试连接外部地址
- 解决方法也主要是针对以上排查,主要排查了下网络,没发现问题
- 确认upstream服务是否正常运行,尝试手动连接upstream服务;
- 检查防火墙设置,确保允许Nginx连接upstream服务;
- 检查Nginx配置文件中upstream服务的IP地址或端口号是否正确;
- 如果upstream服务只监听了本地地址,需要使用IP转发或者配置upstream服务监听所有地址。
解决
- 检查了网络没问题,代码也没相关变动,就试着把nginx 重启了一下,结果发现,重启后恢复正常了!!!
- 正常推送,日志如下:
172.16.1.96 - - [26/Jun/2023:13:51:33 +0800] "GET /socket.io/?EIO=3&transport=polling&t=OZsGUNW&sid=a8726ad4-a4f8-420f-8ffe-e27ff82c6a69 HTTP/1.1" 200 42 "http://172.16.1.100/main/live-view/map" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.0.0 Safari/537.36" "-"
- 这个是偶发现象,后续部署更新平台时,偶尔会出现,但不是必现,很难重现。后续也观察了下,没有重启部署操作时,一次也没出过此问题,一直正常
- 最后总结规律发现,偶尔出现的时候,是因为应该服务重新部署了,nginx没有重启。但是也有一起使用
docker-compose up
重启的,这时候怀疑和启动顺序有关系 - 后续改进了部署更新的shell脚本,部署其他服务结束后几秒,再重启一下nginx服务
- 然后部署完成后,再检查一下平台信号机状态是否已经上报,没有则重启一下服务器
docker-compose --compatibility up -d
sleep 30s
docker restart nginx