Dubbo服务使用websocket实现消息推送时遇到的一些问题

1. 多个线程同时使用同一session发送消息报错

报错现象

给同一个用户分批发送不同消息时，多线程操作如果使用websocket异步发送或者使用websocket同步发送，都会报以下错误：

The remote endpoint was in state [TEXT_FULL_WRITING] which is an invalid state for called method

解决方法

使用websocket同步发送，并对使用的WsSession加同步锁synchronized ：

 synchronized (session) {
   
       session.getBasicRemote().sendText(message);
   }

注意：如果使用websocket异步发送，并加锁，还是会报错，猜想：异步发送应该是new一个线程去发送，即使使用synchronized同样会出现两个session同时被不同的线程操作的时机。

//这种写法在多线程情况下还是会报错。
synchronized(session){
   
    session.getAsyncRemote().sendText(message);
 }

2. 报错 Too many open files

报错现象

使用websocket 发送消息时，程序刚部署阶段不报错，运行一段时间后报错：

Too many open files...

解决方法

通过修改linux服务器参数尝试解决，但并未解决

• 使用ulimit -a命令查看linux服务器参数，发现open files 参数只有1024，这个值太小；
• 使用ulimit -n 65535 修改open files参数，发现该命令只对当前用户当前进程有效，程序重启后就恢复到原来的参数值了；
• 通过修改系统配置文件修改参数：打开系统配置文件**/etc/security/limits.conf**,在这个文件末尾添加
  ** * soft nofile 65535 **
  ** * hard nofile 65535**
  至此，open files 已经设置生效了，但是发现问题并没有解决。

重新分析代码，发现问题的关键点在于没有关闭无效的WsSession.
可以关闭WsSession的几个地方

• 用户正常断开websocket连接时，除了要移除用户信息外，还要关闭其对应的WsSession。
• 用户异常断开websocket连接时，不会触发服务端的关闭连接的操作，故不能主动关闭其对应的WsSession，使用的解决方法是，当用户再次连接websocket时，判断服务端是否已存在该用户信息，若存在则移除旧的用户信息，并把其WsSession关闭。

3. 集群环境下用户的WsSession不能共享

报错现象

由于websocket的seesion不能序列化，所以不能存储到redis中共享。在集群环境下，连接在websocket服务上的用户，其对应的session只存在其连接时对应的服务器的内存中，当发消息使用另一台服务器时，虽然用户连接上了websocket服务，但由于该服务器上没有用户信息，所以无法发送消息。

解决方法

使用定向服务器IP的策略解决

• 用户连接时，存储用户请求的服务器IP地址到redis数据库中，并以用户唯一标识作为key的组成部分。

• 发送消息时，先从redis中获取该用户对应的IP地址，判断是否为本机IP，如果是，则使用本机直接发送，如果不是，则定向请求对应IP服务器上发送消息的服务。

• 用户断开连接时，删除用户存储在redis中的IP地址。

• 使用该策略的几个关键代码：

  获取本地服务器IP

/**
 *  获取本地IP工具类
 **/

import cn.hutool.core.util.NetUtil;
import org.springframework.util.CollectionUtils;

import java.net.InetAddress;
import java.net.UnknownHostException;
import java.util.ArrayList;
public class GetLocalAddress {
   
    public static String getLocalIp() {
   
        String ip;
        try {
   
            ip = InetAddress.getLocalHost().getHostAddress();
            //兼容MAC本地地址，NetUtil.localIpv4s() hutool工具包
            if (ip.startsWith("127")) {
   
                String ipFro