Soul网关中利用HTTP长轮询实现数据同步，这也太好用了叭！

2401_84831686

于 2024-05-13 13:02:56 发布

阅读量649

点赞数 28

分类专栏：程序员文章标签： http iphone 网络协议

本文链接：https://blog.csdn.net/2401_84831686/article/details/138798555

版权

程序员专栏收录该内容

108 篇文章 0 订阅

订阅专栏

@Component

public class DataChangedEventDispatcher implements ApplicationListener, InitializingBean {

private ApplicationContext applicationContext;

//持有DataChangedListener集合

private List listeners;

public DataChangedEventDispatcher(final ApplicationContext applicationContext) {

this.applicationContext = applicationContext;

}

//事件变动时,通知DataChangedListener的不同事件类型的方法

@Override

@SuppressWarnings(“unchecked”)

public void onApplicationEvent(final DataChangedEvent event) {

for (DataChangedListener listener : listeners) {

switch (event.getGroupKey()) {

case APP_AUTH:

listener.onAppAuthChanged((List) event.getSource(), event.getEventType());

break;

case PLUGIN:

listener.onPluginChanged((List) event.getSource(), event.getEventType());

break;

case RULE:

listener.onRuleChanged((List) event.getSource(), event.getEventType());

break;

case SELECTOR:

listener.onSelectorChanged((List) event.getSource(), event.getEventType());

break;

case META_DATA:

listener.onMetaDataChanged((List ) event.getSource(), event.getEventType());

break;

default:

throw new IllegalStateException("Unexpected value: " + event.getGroupKey());

}

@Override

public void afterPropertiesSet() {

Collection listenerBeans = applicationContext.getBeansOfType(DataChangedListener.class).values();

this.listeners = Collections.unmodifiableList(new ArrayList<>(listenerBeans));

}

AbstractDataChangedListener就是定义了一个模板，让子类可以按照指定步骤进行工作，具体每个步骤的工作细节可以由子类自己实现（模版方法模式），以onPluginChanged()插件数据变动方法为例

public abstract class AbstractDataChangedListener implements DataChangedListener, InitializingBean {

@Override

public void onPluginChanged(final List changed, final DataEventTypeEnum eventType) {

if (CollectionUtils.isEmpty(changed)) {

return;

}

this.updatePluginCache();

this.afterPluginChanged(changed, eventType);

}

//修改缓存(可重写)

protected void updatePluginCache() {

this.updateCache(ConfigGroupEnum.PLUGIN, pluginService.listAll());

}

//自定义结束数据变动后要干什么(可重写)

protected void afterPluginChanged(final List changed, final DataEventTypeEnum eventType) {

}

HttpLongPollingDataChangedListener长轮询实现

soul-admin通过ConfigController暴露Http路径供网关调用并监听数据变化

@ConditionalOnBean(HttpLongPollingDataChangedListener.class)

@RestController

@RequestMapping(“/configs”)

@Slf4j

public class ConfigController {

@Resource

private HttpLongPollingDataChangedListener longPollingListener;

@PostMapping(value = “/listener”)

public void listener(final HttpServletRequest request, final HttpServletResponse response) {

longPollingListener.doLongPolling(request, response);

}

这里调用了HttpLongPollingDataChangedListener的doLongPolling()方法，doLongPolling()是实现Http长轮询的关键：

public class HttpLongPollingDataChangedListener extends AbstractDataChangedListener {

public void doLongPolling(final HttpServletRequest request, final HttpServletResponse response) {

//因为soul-web可能未收到某个配置变更的通知,因此MD5值可能不一致,则立即响应

List changedGroup = compareChangedGroup(request);

String clientIp = getRemoteIp(request);

if (CollectionUtils.isNotEmpty(changedGroup)) {

this.generateResponse(response, changedGroup);

log.info(“send response with the changed group, ip={}, group={}”, clientIp, changedGroup);

return;

}

//Servlet3.0异步响应http请求

final AsyncContext asyncContext = request.startAsync();

asyncContext.setTimeout(0L);

scheduler.execute(new LongPollingClient(asyncContext, clientIp, HttpConstants.SERVER_MAX_HOLD_TIMEOUT));

}

class LongPollingClient implements Runnable {

@Override

public void run() {

//加入定时任务,如果60s之内没有配置变更,则60s后执行,响应http请求

this.asyncTimeoutFuture = scheduler.schedule(() -> {

clients.remove(LongPollingClient.this);

List changedGroups = compareChangedGroup((HttpServletRequest) asyncContext.getRequest());

sendResponse(changedGroups);

}, timeoutTime, TimeUnit.MILLISECONDS);

clients.add(this);

}

void sendResponse(final List changedGroups) {

//取消调度

if (null != asyncTimeoutFuture) {

asyncTimeoutFuture.cancel(false);

}

generateResponse((HttpServletResponse) asyncContext.getResponse(), changedGroups);

//同步完成结束阻塞

asyncContext.complete();

}

Http请求到达sou-admin之后，并非立马响应数据，而是利用Servlet3.0的异步机制，异步响应数据。首先，将长轮询请求任务LongPollingClient扔到BlockingQueue中，并且开启调度任务，60s后执行，这样做的目的是60s后将该长轮询请求移除队列，即便是这段时间内没有发生配置数据变更。因为即便是没有配置变更，也得让网关知道，总不能让其干等吧，而且网关请求配置服务时，也有90s的超时时间

长轮询时配置数据变更立即响应数据

讲完了Http请求到达sou-admin这段时间没有变更配置数据60s后返回响应，如果这段时间内，存在配置数据变更呢？

首先Http请求到达sou-admin时最终拿到的配置信息数据都是从AbstractDataChangedListener的Cache中获取的

public abstract class AbstractDataChangedListener implements DataChangedListener, InitializingBean {

protected static final ConcurrentMap<String, ConfigDataCache> CACHE = new ConcurrentHashMap<>();

那AbstractDataChangedListener中本地缓存数据是何时更新的，只有本地缓存更新了才会立即响应数据

AbstractDataChangedListener中本地缓存数据更新时机：

触发DataChangedEvent事件，DataChangedEventDispatcher监听到来处理数据同步的事件分类及分发
定时任务同步

1）触发Spring事件，DataChangedEventDispatcher监听到来处理数据同步的事件分类及分发

就是DataChangedListener体系中讲解的内容，下面以创建和修改Plugin为例：

@Service(“pluginService”)

public class PluginServiceImpl implements PluginService {

@Override

@Transactional(rollbackFor = Exception.class)

public String createOrUpdate(final PluginDTO pluginDTO) {

final String msg = checkData(pluginDTO);

if (StringUtils.isNoneBlank(msg)) {

return msg;

}

PluginDO pluginDO = PluginDO.buildPluginDO(pluginDTO);

DataEventTypeEnum eventType = DataEventTypeEnum.CREATE;

if (StringUtils.isBlank(pluginDTO.getId())) {

insertPluginDataToResource(pluginDTO);

pluginMapper.insertSelective(pluginDO);

} else {

eventType = DataEventTypeEnum.UPDATE;

pluginMapper.updateSelective(pluginDO);

}

//触发事件

eventPublisher.publishEvent(new DataChangedEvent(ConfigGroupEnum.PLUGIN, eventType,

Collections.singletonList(PluginTransfer.INSTANCE.mapToData(pluginDO))));

return StringUtils.EMPTY;

}

创建和修改Plugin之后，触发了DataChangedEvent，DataChangedEventDispatcher根据groupKey进行分发，调用了AbstractDataChangedListener中实现的onXxxChanged()方法：

@Component

public class DataChangedEventDispatcher implements ApplicationListener, InitializingBean {

//事件变动时,通知DataChangedListener的不同事件类型的方法

@Override

@SuppressWarnings(“unchecked”)

public void onApplicationEvent(final DataChangedEvent event) {

for (DataChangedListener listener : listeners) {

switch (event.getGroupKey()) {

case APP_AUTH:

listener.onAppAuthChanged((List) event.getSource(), event.getEventType());

break;

case PLUGIN:

listener.onPluginChanged((List) event.getSource(), event.getEventType());

break;

case RULE:

listener.onRuleChanged((List) event.getSource(), event.getEventType());

break;

case SELECTOR:

listener.onSelectorChanged((List) event.getSource(), event.getEventType());

break;

case META_DATA:

listener.onMetaDataChanged((List ) event.getSource(), event.getEventType());

break;

default:

throw new IllegalStateException("Unexpected value: " + event.getGroupKey());

}

AbstractDataChangedListener中采用了模版方法模式，onXxxChanged()方法中修改了缓存，提供了afterXxxChanged()方法让子类自定义结束数据变动后要干什么

public abstract class AbstractDataChangedListener implements DataChangedListener, InitializingBean {

@Override

public void onPluginChanged(final List changed, final DataEventTypeEnum eventType) {

if (CollectionUtils.isEmpty(changed)) {

return;

}

this.updatePluginCache();

this.afterPluginChanged(changed, eventType);

}

//修改缓存(可重写)

protected void updatePluginCache() {

this.updateCache(ConfigGroupEnum.PLUGIN, pluginService.listAll());

}

//自定义结束数据变动后要干什么(可重写)

protected void afterPluginChanged(final List changed, final DataEventTypeEnum eventType) {

}

HttpLongPollingDataChangedListener中重写了AbstractDataChangedListener中的afterXxxChanged()方法，afterXxxChanged()方法是通过事件变更触发长轮询立即响应的关键

public class HttpLongPollingDataChangedListener extends AbstractDataChangedListener {

@Override

protected void afterPluginChanged(final List changed, final DataEventTypeEnum eventType) {

scheduler.execute(new DataChangeTask(ConfigGroupEnum.PLUGIN));

}

class DataChangeTask implements Runnable {

private final ConfigGroupEnum groupKey;

private final long changeTime = System.currentTimeMillis();

DataChangeTask(final ConfigGroupEnum groupKey) {

this.groupKey = groupKey;

}

@Override

public void run() {

//soul-admin发生了配置变更,挨个将队列中的请求移除,并予以响应

for (Iterator iter = clients.iterator(); iter.hasNext()😉 {

LongPollingClient client = iter.next();

iter.remove();

client.sendResponse(Collections.singletonList(groupKey));

log.info(“send response with the changed group,ip={}, group={}, changeTime={}”, client.ip, groupKey, changeTime);

}

如果这段时间内，管理员变更了配置数据，此时，会挨个移除队列中的长轮询请求，并响应数据，告知是哪个Group的数据发生了变更（将插件、规则、流量配置、用户配置数据分成不同的组）。

网关收到响应信息之后，只知道是哪个Group发生了配置变更，还需要再次请求该Group的配置数据，这时候会调用ConfigController中暴露的fetch接口拿到最新的配置数据

@ConditionalOnBean(HttpLongPollingDataChangedListener.class)

@RestController

@RequestMapping(“/configs”)

@Slf4j

public class ConfigController {

@Resource

private HttpLongPollingDataChangedListener longPollingListener;

@GetMapping(“/fetch”)

public SoulAdminResult fetchConfigs(@NotNull final String[] groupKeys) {

Map<String, ConfigData<?>> result = Maps.newHashMap();

for (String groupKey : groupKeys) {

ConfigData<?> data = longPollingListener.fetchConfig(ConfigGroupEnum.valueOf(groupKey));

result.put(groupKey, data);

}

return SoulAdminResult.success(SoulResultMessage.SUCCESS, result);

}

关于为什么不是直接将变更的数据写出，作者给出的回答是：因为Http长轮询机制只能保证准实时，如果在网关层处理不及时，或者管理员频繁更新配置，很有可能便错过了某个配置变更的推送，安全起见，我们只告知某个Group信息发生了变更。

2）定时任务同步

定时任务同步是因为触发事件只是单个节点完成缓存更新，假设soul-admin存在A、B两个节点，更新配置数据的请求到达A节点完成了A节点内本地缓存数据的更新，而B节点并未更新本地缓存，所以B节点的数据是通过定时任务来同步的

定时任务同步也是在HttpLongPollingDataChangedListener中实现的

public class HttpLongPollingDataChangedListener extends AbstractDataChangedListener {

@Override

protected void afterInitialize() {

long syncInterval = httpSyncProperties.getRefreshInterval().toMillis();

//定期检查数据的更改并更新缓存

scheduler.scheduleWithFixedDelay(() -> {

log.info(“http sync strategy refresh config start.”);

try {

this.refreshLocalCache();

log.info(“http sync strategy refresh config success.”);

} catch (Exception e) {

log.error(“http sync strategy refresh config error!”, e);

}

}, syncInterval, syncInterval, TimeUnit.MILLISECONDS);

log.info(“http sync strategy refresh interval: {}ms”, syncInterval);

}

private void refreshLocalCache() {

this.updateAppAuthCache();

this.updatePluginCache();

this.updateRuleCache();

this.updateSelectorCache();

最后

自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。

深知大多数Java工程师，想要提升技能，往往是自己摸索成长，自己不成体系的自学效果低效漫长且无助。

因此收集整理了一份《2024年Java开发全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上Java开发知识点，不论你是刚入门Android开发的新手，还是希望在技术上不断提升的资深开发者，这些资料都将为你打开新的学习之门！

如果你觉得这些内容对你有帮助，需要这份全套学习资料的朋友可以戳我获取！！

由于文件比较大，这里只是将部分目录截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且会持续更新！
ateAppAuthCache();

this.updatePluginCache();

this.updateRuleCache();

this.updateSelectorCache();

最后

自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。

深知大多数Java工程师，想要提升技能，往往是自己摸索成长，自己不成体系的自学效果低效漫长且无助。

[外链图片转存中…(img-68Zb7xOF-1715576562314)]

[外链图片转存中…(img-TO0MSiwG-1715576562315)]

[外链图片转存中…(img-0RdYKtFa-1715576562315)]

如果你觉得这些内容对你有帮助，需要这份全套学习资料的朋友可以戳我获取！！

由于文件比较大，这里只是将部分目录截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且会持续更新！

2401_84831686

关注

28
点赞
踩
25

收藏

觉得还不错? 一键收藏
0
评论
Soul网关中利用HTTP长轮询实现数据同步，这也太好用了叭！

自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。深知大多数Java工程师，想要提升技能，往往是自己摸索成长，自己不成体系的自学效果低效漫长且无助。因此收集整理了一份《2024年Java开发全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。
复制链接

扫一扫