NacosSync

最新推荐文章于 2024-04-23 09:29:53 发布
最新推荐文章于 2024-04-23 09:29:53 发布
阅读量2k 收藏 3
点赞数
分类专栏： Nacos

目录

一、Eureka同步逻辑

1. EurekaHttpClient从Client列表中随机选择

2. NamingService从Client列表中随机选择

3. EurekaHttpResponse中InstanceInfo同步

4. 校验HTTP状态码

5. registerInstance()同步服务注册

6. 同步任务订阅到SpecialSyncEventBus

二、zk同步逻辑

1. 根据serviceName的path和随机Client得到PathChildrenCache

2. NamingService从Client列表中随机选择

3. 获取当前数据List

4. 校验queryParam

5. registerInstance()同步服务注册

6. 添加监听器到listener

根据Guava的EventBus模式进行不同注册中心的服务同步（迁移）。

通过EventListener触发同步

public class EventListener {    
    @Subscribe
    public void listenerSyncTaskEvent(SyncTaskEvent syncTaskEvent) {

        try {
            long start = System.currentTimeMillis();
            syncManagerService.sync(syncTaskEvent.getTaskDO());
            skyWalkerCacheServices.addFinishedTask(syncTaskEvent.getTaskDO());
            metricsManager.record(MetricsStatisticsType.SYNC_TASK_RT, System.currentTimeMillis() - start);
        } catch (Exception e) {
            log.warn("listenerSyncTaskEvent process error", e);
        }

    }
}

public class SyncManagerService implements InitializingBean, ApplicationContextAware {
    public boolean sync(TaskDO taskDO) {

        return getSyncService(taskDO.getSourceClusterId(), taskDO.getDestClusterId()).sync(taskDO);

    }

    public SyncService getSyncService(String sourceClusterId, String destClusterId) {

        ClusterTypeEnum sourceClusterType = this.skyWalkerCacheServices.getClusterType(sourceClusterId);
        ClusterTypeEnum destClusterType = this.skyWalkerCacheServices.getClusterType(destClusterId);

        return syncServiceMap.get(generateSyncKey(sourceClusterType, destClusterType));
    }
}

SyncService的实现类sync()同步实现逻辑：

一、Eureka同步逻辑

  1. EurekaHttpClient
  2. NamingService
  3. EurekaHttpResponse
  4. HTTP状态码校验
  5. 同步
  6. 订阅到SpecialSyncEventBus
@NacosSyncService(sourceCluster = ClusterTypeEnum.EUREKA, destinationCluster = ClusterTypeEnum.NACOS)
public class EurekaSyncToNacosServiceImpl implements SyncService {
    @Override
    public boolean sync(TaskDO taskDO) {
        try {
            //random.nextInt(allClusterConnectKey.size())从client列表中随机选择一个client
            //1.EurekaHttpClient
            EurekaHttpClient eurekaHttpClient = eurekaServerHolder.get(taskDO.getSourceClusterId(), null);
            //2.NamingService
            NamingService destNamingService = nacosServerHolder.get(taskDO.getDestClusterId(), null);
            //3.EurekaHttpResponse
            EurekaHttpResponse<Application> eurekaHttpResponse =
                eurekaHttpClient.getApplication(taskDO.getServiceName());
            //Whether eurekaHttpResponse.getStatusCode() is in the HTTP series
            //4.HTTP状态码校验
            if (Objects.requireNonNull(HttpStatus.resolve(eurekaHttpResponse.getStatusCode())).is2xxSuccessful()) {
                Application application = eurekaHttpResponse.getEntity();
                for (InstanceInfo instanceInfo : application.getInstances()) {
                    //5.同步
                    if (needSync(instanceInfo.getMetadata())) {
                        if (InstanceInfo.InstanceStatus.UP.equals(instanceInfo.getStatus())) {
                            destNamingService.registerInstance(taskDO.getServiceName(),
                                buildSyncInstance(instanceInfo, taskDO));
                        } else {
                            destNamingService.deregisterInstance(instanceInfo.getAppName(), instanceInfo.getIPAddr(),
                                instanceInfo.getPort());
                        }
                    }

                }
            } else {
                metricsManager.recordError(MetricsStatisticsType.SYNC_ERROR);
                throw new RuntimeException("trying to connect to the server failed");
            }
            //6.订阅到SpecialSyncEventBus
            specialSyncEventBus.subscribe(taskDO, this::sync);
        } catch (Exception e) {
            log.error("sync task from eureka to nacos was failed, taskId:{}", taskDO.getTaskId(), e);
            metricsManager.recordError(MetricsStatisticsType.SYNC_ERROR);
            return false;
        }
        return true;
    }
}

1. EurekaHttpClient从Client列表中随机选择

EurekaHttpClient eurekaHttpClient = eurekaServerHolder.get(taskDO.getSourceClusterId(), null);
public abstract class AbstractServerHolder<T> implements Holder {
    @Override
    public T get(String clusterId, String namespace) {
        //namespace=null,则finalNamespace=" ";否则为namespace
        final String finalNamespace = Optional.ofNullable(namespace).orElse("");
        //key=clusterId_finalNamespace
        String key = Joiner.on("_").join(clusterId,finalNamespace);
        log.info("starting create cluster server,clusterId={}", clusterId);
        //if key 不存在于serviceMap，则调用传入的function计算key的value，放入缓存map中
        serviceMap.computeIfAbsent(key, clusterKey -> {
            try {
                //随机从random.nextInt(allClusterConnectKey.size())中选择Cluster
                return createServer(clusterId,
                        () -> skyWalkerCacheServices.getClusterConnectKey(clusterId),
                        finalNamespace);
            } catch (Exception e) {
                log.error(String.format("clusterId=%s,start server failed", clusterId), e);
                return null;
            }
        });

        return serviceMap.get(key);
    }
}

2. NamingService从Client列表中随机选择

 NamingService destNamingService = nacosServerHolder.get(taskDO.getDestClusterId(), null);

3. EurekaHttpResponse中InstanceInfo同步

InstanceInfo存储服务信息。

EurekaHttpResponse<Application> eurekaHttpResponse =
                eurekaHttpClient.getApplication(taskDO.getServiceName());

4. 校验HTTP状态码

 if (InstanceInfo.InstanceStatus.UP.equals(instanceInfo.getStatus()))

5. registerInstance()同步服务注册

destNamingService.registerInstance(taskDO.getServiceName(),
                                buildSyncInstance(instanceInfo, taskDO));

6. 同步任务订阅到SpecialSyncEventBus

specialSyncEventBus.subscribe(taskDO, this::sync);

二、zk同步逻辑

  1. PathChildrenCache
  2. NamingService
  3. List<ChildData>
  4. queryParam校验
  5. 同步
  6. 添加监听器
@NacosSyncService(sourceCluster = ClusterTypeEnum.ZK, destinationCluster = ClusterTypeEnum.NACOS)
public class ZookeeperSyncToNacosServiceImpl implements SyncService {
    @Override
    public boolean sync(TaskDO taskDO) {
        try {
            if (pathChildrenCacheMap.containsKey(taskDO.getTaskId())) {
                return true;
            }

            //使用PathChildrenCache监听zk集群当前目录+子节点。
            //1.PathChildrenCache
            PathChildrenCache pathChildrenCache = getPathCache(taskDO);
            //2.NamingService
            NamingService destNamingService = nacosServerHolder
                    .get(taskDO.getDestClusterId(), null);
            //3.List<ChildData>
            //获取当前数据：childData存储路径String path、信息Stat stat
            List<ChildData> currentData = pathChildrenCache.getCurrentData();
            for (ChildData childData : currentData) {
                String path = childData.getPath();
                Map<String, String> queryParam = parseQueryString(childData.getPath());
                //4.queryParam校验
                if (isMatch(taskDO, queryParam) && needSync(queryParam)) {
                    Map<String, String> ipAndPortParam = parseIpAndPortString(path);
                    Instance instance = buildSyncInstance(queryParam, ipAndPortParam, taskDO);
                    //5.同步
                    destNamingService.registerInstance(
                            getServiceNameFromCache(taskDO.getTaskId(), queryParam),
                            instance);
                }
            }
            //6.添加监听器
            Objects.requireNonNull(pathChildrenCache).getListenable()
                    .addListener((client, event) -> {
                        try {

                            String path = event.getData().getPath();
                            Map<String, String> queryParam = parseQueryString(path);

                            if (isMatch(taskDO, queryParam) && needSync(queryParam)) {
                                Map<String, String> ipAndPortParam = parseIpAndPortString(path);
                                Instance instance = buildSyncInstance(queryParam, ipAndPortParam,
                                        taskDO);
                                switch (event.getType()) {
                                    case CHILD_ADDED:
                                        destNamingService.registerInstance(
                                                getServiceNameFromCache(taskDO.getTaskId(),
                                                        queryParam), instance);
                                        break;
                                    case CHILD_UPDATED:

                                        destNamingService.registerInstance(
                                                getServiceNameFromCache(taskDO.getTaskId(),
                                                        queryParam), instance);
                                        break;
                                    case CHILD_REMOVED:

                                        destNamingService.deregisterInstance(
                                                getServiceNameFromCache(taskDO.getTaskId(),
                                                        queryParam),
                                                ipAndPortParam.get(INSTANCE_IP_KEY),
                                                Integer.parseInt(
                                                        ipAndPortParam.get(INSTANCE_PORT_KEY)));

                                        break;
                                    default:
                                        break;
                                }
                            }
                        } catch (Exception e) {
                            log.error("event process from zookeeper to nacos was failed, taskId:{}",
                                    taskDO.getTaskId(), e);
                            metricsManager.recordError(MetricsStatisticsType.SYNC_ERROR);
                        }

                    });
        } catch (Exception e) {
            log.error("sync task from zookeeper to nacos was failed, taskId:{}", taskDO.getTaskId(),
                    e);
            metricsManager.recordError(MetricsStatisticsType.SYNC_ERROR);
            return false;
        }
        return true;
    }
}

1. 根据serviceName的path和随机Client得到PathChildrenCache

PathChildrenCache监听zk集群中节点信息。

PathChildrenCache pathChildrenCache = getPathCache(taskDO);
   /**
     * fetch the Path cache when the task sync
     */
    protected PathChildrenCache getPathCache(TaskDO taskDO) {
        return pathChildrenCacheMap.computeIfAbsent(taskDO.getTaskId(), (key) -> {
            try {
                //集群中每个节点启动时，都注册到ZKServer上，然后每个节点都接收节点改变的监听，以便每个节点都实时更新集群信息（其他应用要使用）
                //监听使用PathChildrenCache,能监听当前目录+子节点。
                PathChildrenCache pathChildrenCache =
                        new PathChildrenCache(
                                //从client列表中随机得到一个client(CuratorFramework的client)
                                zookeeperServerHolder.get(taskDO.getSourceClusterId(), ""),
                                //路径：/dubbo/serviceName/providers
                                convertDubboProvidersPath(taskDO.getServiceName()), false);
                //BUILD_INITIAL_CACHE模式启动cache
                //  调用rebuild方法（此方法会阻塞执行）
                //      重新查询所有需要的数据
                //      不会触发任何事件
                //      安全创建path
                //      清空currentData缓存
                //      重新加载path下子节点，逐个结点重构缓存
                //          逐个读取节点数据和状态
                //          构建ChildData放入currentData
                //      通过rebuildTestExchanger发送要给信号对象
                pathChildrenCache.start(PathChildrenCache.StartMode.BUILD_INITIAL_CACHE);
                return pathChildrenCache;
            } catch (Exception e) {
                log.error("zookeeper path children cache start failed, taskId:{}",
                        taskDO.getTaskId(), e);
                return null;
            }
        });

    }

2. NamingService从Client列表中随机选择

 NamingService destNamingService = nacosServerHolder.get(taskDO.getDestClusterId(), null);

3. 获取当前数据List<ChildData>

 List<ChildData> currentData = pathChildrenCache.getCurrentData();

 ChildData存储path、服务信息Stat。

public class ChildData implements Comparable<ChildData>
{
    private final String path;
    private final Stat stat;
    private final byte[] data;
}

4. 校验queryParam

Map<String, String> queryParam = parseQueryString(childData.getPath());
if (isMatch(taskDO, queryParam) && needSync(queryParam))

5. registerInstance()同步服务注册

destNamingService.registerInstance(
                            getServiceNameFromCache(taskDO.getTaskId(), queryParam),
                            instance);

6. 添加监听器到listener

Objects.requireNonNull(pathChildrenCache).getListenable()
                    .addListener((client, event))

 

参考：https://my.oschina.net/roccn/blog/918209

liyanan21
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
nacos-sync:服务同步组件
05-14
Nacos Sync 功能 控制台：提供用于管理的API和控制台 工作者：提供者服务注册同步。 建筑学 建筑拓扑 +-------------+ +----> |NacosClusterA| | +-------------+ +-------------+ | |NacosClusterB| Pull | +--+----------+ Info | +------------+ ^ | |ZooKeeper | | | +--+---
nacosSync-server.jar
03-04
nacosSync同步eureka服务到指定命名空间内, 基于0.4.4修改.
nacos-sync注册中心同步服务安装
qq_42834385的博客
04-13 1472
标题 文章目录标题概述Eureka注册中心同步至Nacos注册中心，搭建nacos-sync服务过程一、操作步骤1、解压jdk-8u191-linux-x64.tar.gz和nacosSync.0.4.7.tar.gz2、安装JDK1.83、部署Nacos-Sync4、开启服务访问端口5、访问nacos-sync页面二、操作步骤1、设置注册中心地址2、设置需要同步的服务 概述 Eureka注册中心同步至Nacos注册中心，搭建nacos-sync服务过程 一、操作步骤 1、解压jdk-8u191-linux
源码篇--Nacos服务--中章(3):Nacos服务端启动--端口监听
最新发布
拽着尾巴的鱼儿的博客
04-23 1021
本文对Nacos 服务端的端口监听进行介绍。在 Nacos 中，BaseRpcServer 是一个基础的远程过程调用（RPC）服务器组件，用于处理 Nacos 集群内部节点之间的远程通信和调用。其主要作用包括：提供远程服务调用接口：BaseRpcServer 作为一个 RPC 服务器，提供了远程服务调用的接口，使得集群中的各个节点能够通过网络进行相互调用。通过 BaseRpcServer，节点之间可以实现远程调用服务的功能。
说说微软刚出的同步框架Sync Services
greystar的专栏
05-07 1826
前言：     Sync Services For ADO.NET 这个版本的同步框架已经出来好久了，现在已经是CTP2的版本了，但它一直都是只针对桌面应用，没有针对移动设备。但3月份的时候针对移动应用的这个版本终于出来,不过现在也还仅仅是CTP版本。心急的你一定想知道它到底是何方神圣？如果您还在苦苦寻找windows mobile数据同步解决方案,那么本文可做为您的一个参考。     如果有做过
06. Nacos服务端-同步服务实例
u010369122的博客
12-03 486
喜闻乐见的是，果然为了提升性能，采用了异步处理方式，将任务添加到一个 tasks中，后续再处理，但是大家可能这时候会疑惑，我怎么知道在哪里会处理？告诉大家一个经验，一般来说这种异步处理逻辑，在哪个类里面添加的任务，该类中。上面方法的逻辑就是取出所有的任务key 进行遍历，然后获取 NacosTaskProcessor，调用。进行处理，如果处理失败或者发生异常，就将任务重新添加到Tasks，这里的关键逻辑肯定是。上面方法就是调用 task.run()，而 task 就是前面将任务进行转换过后的。
nacos-sync0.4.8+nginx安装部署
hlvy
03-16 385
nacos-sync0.4.8+nginx安装部署
gavinh2016#someArticles#Nacos16# NacosSync双向复制使用指南1
07-25
引言Nacos的注册发现和配置中心的源码基本录完了，还有一块是不同集群之间的同步。zk同步到Nacos集群，nacos集群之间做多活需要数据复制等。那本文就先看
从其它环境转移到Nacos的方法-NacosSync
深圳市多克创新科技有限公司
10-02 416
从其它环境转移到Nacos的方法-NacosSync
nacos-sync源码解析:eureka同步至nacos
qq_22270363的博客
09-18 1205
nacos-sync源码解析，eureka同步服务信息至nacos部分
Nacos-Sync-未授权进后台（建议自查）
2301_80127209的博客
04-12 424
申明：本账号所分享内容仅用于网络安全技术讨论，切勿用于违法途径，所有渗透都需获取授权，违者后果自行承担，与本号及作者无关，请谨记守法。环境搭建、HTML，PHP，MySQL基础学习，信息收集，SQL注入,XSS，CSRF，暴力破解等等。对于鉴权类型的漏洞，主要的修复方式是全局增加鉴权。访问之后直接是进入后台的样子~免费领取安全学习资料包！帮助你在面试中脱颖而出。
NacosSync支持Eureka与Nacos的双向批量同步改造完成
冯立彬的博客
09-02 1457
默认情况下Nacos只支持单个应用的同步，针对数百个应用要配置同步，单页面配置就是一项不小的工作量，且每新增加一个应用就需要增加一个同步配置，如果是Eureka与Nacos的双向同步则需要增加两条配置，当然可以直接在数据库中插入数据，但是这毕竟也不是长久之计，使用上也会不便，更加不符合程序员的做事风格。 改造完成后Eureka与Nacos双向配置，就只以下两条配置记录： 且以后不论是Eureka或是Nacos有应用注册，都会同步给对彼此，不需要新增任何的配置： 注册到Eureka的应用会自动同步到
Microsoft Sync Framework基础篇 1：Microsoft Sync Framework简介
weixin_34372728的博客
06-20 1191
前言 最近，Team接手Microsoft Sync Framework（MSF）相关的开发工作，所以得此良机近距离的研究和学习Microsoft Sync Framework这个优秀的同步工具。当然，第一步自然是学习它的使用方式，下面就是本人学习Microsoft Sync Framework的一系列学习笔记，本着分享学习、共同进步的目的，将系列笔记发于博客园。希望与使用Microsoft S...
在Tech Ed上要看到的Sync Service for ADO.NET
aawolf = new Mobile.MVP
11-06 5722
 离出发还有一个小时，Tech Ed的课程还没有成型，索性不写了，好好梳理一下脑子里的Sync Service for ADO.NET到底是个什么东东？面对一门新技术时，我们应该首先问三个问题：1，  这项技术是什么？2，  这项技术做什么用？3，  这项技术如何用？如果一场70分钟的Session能够回答这三个问题，那么至少算不得失败。所以，让我们用一个小时的时间，来看看
WCF4.0 –- RESTful WCF Services (实例) (并发同步服务 SyncService)
热门推荐
Lullaby's Blog
03-24 1万+
最近写自动化测试时遇到一个问题： 我们在进行一个并发测试的过程中，需要所有客户端测试代码，在某个时机同步。回想所学到的，线程同步手段很多了，同一台PC上的进程间同步也可以通过Metux实现，多PC的时候怎么办。因为最近在学习REST WCF，自然想到它，用它来做个同步服务，即可以解决多线程，多进程，多PC同步，还可以支持跨语言，真是一举多得。(类似的解决方案还有PNUNIT，它是通过.Net Re
linux 集群数据同步,NacosSync多集群迁移
weixin_36280317的博客
05-13 334
NacosSync迁移环境介绍80为 A机房，175为 B机房假设所有服务都连接到B机房175的集群上，现要将B机房的数据同步到A机房80集群上目前已支持的同步类型:Nacos数据同步到NacosZookeeper数据同步到NacosNacos数据同步到ZookeeperEureka数据同步到NacosConsul数据同步到NacosA机房部署Nacos集群B机房部署Nacos集群添加注册中心集群...
将配置同步到nacos
qq690452074的专栏
06-08 1388
在目录 E:\java_work\study\seata\script\config-center\nacos 下右键 Git Bash Here，输上 sh nacos-config.sh，将配置上传nacos
nacos服务端服务注册原理_5(向集群中其他节点增量同步新增的Client信息)
guntun8987的博客
08-09 397
nacos源码分析
k8s安装NacosSync
03-14
Kubernetes＊＊＊开源的容器编排平台，而NacosSync是一个用于同步Nacos配置中心数据到本地文件的工具。下面是安装NacosSync的步骤： 1. 首先，确保你已经安装了Kubernetes集群，并且集群正常运行。 2. 在Kubernetes集群中创建一个命名空间（Namespace），用于部署NacosSync。可以使用以下命令创建一个名为nacos-sync的命名空间： ``` kubectl create namespace nacos-sync ``` 3. 创建一个用于部署NacosSync的配置文件，例如nacos-sync.yaml，并将以下内容添加到文件中： ```yaml apiVersion: apps/v1 kind: Deployment metadata: name: nacos-sync namespace: nacos-sync spec: replicas: 1 selector: matchLabels: app: nacos-sync template: metadata: labels: app: nacos-sync spec: containers: - name: nacos-sync image: <nacos-sync-image> env: - name: NACOS_SERVER_ADDR value: <nacos-server-addr> - name: NACOS_NAMESPACE value: <nacos-namespace> - name: NACOS_DATA_ID value: <nacos-data-id> - name: LOCAL_FILE_PATH value: <local-file-path> ``` 其中，`<nacos-sync-image>`是NacosSync的镜像地址，`<nacos-server-addr>`是Nacos服务器的地址，`<nacos-namespace>`是Nacos的命名空间，`<nacos-data-id>`是要同步的Nacos配置数据ID，`<local-file-path>`是本地文件路径。 4. 使用kubectl命令部署NacosSync： ``` kubectl apply -f nacos-sync.yaml ``` 5. 等待部署完成后，可以使用以下命令检查NacosSync的运行状态： ``` kubectl get pods -n nacos-sync ``` 至此，你已经成功安装了NacosSync，并且配置了要同步的Nacos配置数据和本地文件路径。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值