Soul 学习笔记之数据同步http长轮询(八)-CSDN博客

本文链接：https://blog.csdn.net/weixin_54395016/article/details/112994018

总系列目录地址

上篇Divide插件

数据同步http配置

soul-admin

 sync:
    websocket:
      enabled: false
    http:
      enabled: true

soul-bootstrap

sync:
  http:
    url : http://localhost:9095

maven只保留一直数据同步依赖

<!--soul data sync start use http-->
<dependency>
    <groupId>org.dromara</groupId>
    <artifactId>soul-spring-boot-starter-sync-data-http</artifactId>
    <version>${project.version}</version>
</dependency>

soul-http数据同步

长轮询机制图
详细解析

http 长轮询机制如上所示，soul-web 网关请求 admin 的配置服务，读取超时时间为 90s，意味着网关层请求配置服务最多会等待 90s，这样便于 admin 配置服务及时响应变更数据，从而实现准实时推送。
http 请求到达 sou-admin 之后，并非立马响应数据，而是利用 Servlet3.0 的异步机制，异步响应数据。首先，将长轮询请求任务 LongPollingClient 扔到 BlocingQueue 中，并且开启调度任务，60s 后执行，这样做的目的是 60s 后将该长轮询请求移除队列，即便是这段时间内没有发生配置数据变更。因为即便是没有配置变更，也得让网关知道，总不能让其干等吧，而且网关请求配置服务时，也有 90s 的超时时间。

public class HttpSyncDataService implements SyncDataService, AutoCloseable {
	// 线程池定时执行
	private void start() {
        // It could be initialized multiple times, so you need to control that.
        if (RUNNING.compareAndSet(false, true)) {
            // fetch all group configs.
            this.fetchGroupConfig(ConfigGroupEnum.values());
            int threadSize = serverList.size();
            this.executor = new ThreadPoolExecutor(threadSize, threadSize, 60L, TimeUnit.SECONDS,
                    new LinkedBlockingQueue<>(),
                    SoulThreadFactory.create("http-long-polling", true));
            // start long polling, each server creates a thread to listen for changes.
            this.serverList.forEach(server -> this.executor.execute(new HttpLongPollingTask(server)));
        } else {
            log.info("soul http long polling was started, executor=[{}]", executor);
        }
    }
	public void doLongPolling(final HttpServletRequest request, final HttpServletResponse response) {
	    // 因为soul-web可能未收到某个配置变更的通知，因此MD5值可能不一致，则立即响应
	    List<ConfigGroupEnum> changedGroup = compareMD5(request);
	    String clientIp = getRemoteIp(request);
	    if (CollectionUtils.isNotEmpty(changedGroup)) {
	        this.generateResponse(response, changedGroup);
	        return;
	    }
	    // Servlet3.0异步响应http请求
	    final AsyncContext asyncContext = request.startAsync();
	    asyncContext.setTimeout(0L);
	    scheduler.execute(new LongPollingClient(asyncContext, clientIp, 60));
	}
}

public class HttpLongPollingDataChangedListener extends AbstractDataChangedListener {
    ...
	class LongPollingClient implements Runnable {
	    LongPollingClient(final AsyncContext ac, final String ip, final long timeoutTime) {
	        // 省略......
	    }
	    @Override
	    public void run() {
	        // 加入定时任务，如果60s之内没有配置变更，则60s后执行，响应http请求
	        this.asyncTimeoutFuture = scheduler.schedule(() -> {
	            // clients是阻塞队列，保存了来自soul-web的请求信息
	            clients.remove(LongPollingClient.this);
	            List<ConfigGroupEnum> changedGroups = HttpLongPollingDataChangedListener.compareMD5((HttpServletRequest) 			asyncContext.getRequest());
	            sendResponse(changedGroups);
	        }, timeoutTime, TimeUnit.MILLISECONDS);
	        //
	        clients.add(this);
	    }
	}
}

如果这段时间内，管理员变更了配置数据，此时，会挨个移除队列中的长轮询请求，并响应数据，告知是哪个 Group 的数据发生了变更（我们将插件、规则、流量配置、用户配置数据分成不同的组）。网关收到响应信息之后，只知道是哪个 Group 发生了配置变更，还需要再次请求该 Group 的配置数据。有人会问，为什么不是直接将变更的数据写出？我们在开发的时候，也深入讨论过该问题，因为 http 长轮询机制只能保证准实时，如果在网关层处理不及时，或者管理员频繁更新配置，很有可能便错过了某个配置变更的推送，安全起见，我们只告知某个 Group 信息发生了变更。

// 网关请求到soul-admin
public class ConfigController {
	// soul-web会定时访问soul-admin
	@PostMapping(value = "/listener")
    public void listener(final HttpServletRequest request, final HttpServletResponse response) {
        httpLongPollingDataChangedListener.doLongPolling(request, response);
    }
}
public class HttpLongPollingDataChangedListener extends AbstractDataChangedListener {
	// 每次更改都会把数据插到定时任务中,由DataChangedEventDispatcher.onApplicationEvent触发
	@Override
    protected void afterPluginChanged(final List<PluginData> changed, final DataEventTypeEnum eventType) {
        scheduler.execute(new DataChangeTask(ConfigGroupEnum.PLUGIN));
    }
	// soul-admin发生了配置变更，挨个将队列中的请求移除，并予以响应
	class DataChangeTask implements Runnable {
	    DataChangeTask(final ConfigGroupEnum groupKey) {
	        this.groupKey = groupKey;
	    }
	    @Override
	    public void run() {
	        try {
	            for (Iterator<LongPollingClient> iter = clients.iterator(); iter.hasNext(); ) {
	                LongPollingClient client = iter.next();
	                iter.remove();
	                client.sendResponse(Collections.singletonList(groupKey));
	            }
	        } catch (Throwable e) {
	            LOGGER.error("data change error.", e);
	        }
	    }
	}
}