自研分布式 OLAP系统学习记录

最新推荐文章于 2024-07-16 20:59:41 发布

大家都叫我船长

最新推荐文章于 2024-07-16 20:59:41 发布

阅读量130

点赞数

分类专栏： scala spark 文章标签： spark

本文链接：https://blog.csdn.net/riluomati/article/details/108156271

版权

spark 同时被 2 个专栏收录

12 篇文章 0 订阅

订阅专栏

scala

6 篇文章 0 订阅

订阅专栏

如何实现HA

每个节点会启动两个进程，一个是master进程（端口号10008），一个是slave进程（端口号10007），目前已知这两个进程的区别是，一个是提交到yarn上，另外一个是通过local的形式，还有就是两者的jvm内存会有区别，master进程会更加大一点

每个进程在启动的时候，根据自己提交的是yarn还是local的模式，如果是yarn的话，就可以成为master节点，会去往ZK的/jdbcUrl下面去注册临时节点（ip:port）,如果是local模式的话，会往ZK的/jdbcUrlLocal下面去注册临时节点（ip:port）.每个进程后台会起一个线程，每隔0.1s查看/jdbcurl下面是否有临时节点，如果没有的话，说明当前master节点已经挂了，那么自己会尝试往这个路径下注册，让自己成为master节点，如果是slave会查看jdbcUrLLocal下面是否有自己，没有的话，就会进行注册。

public void run() {
        while (true) {
            InterProcessMutex lock = null;
            try {
                if (!isLocal) {
                    if (!zookeeperDAO.isNodeExist("/jdbcUrl/" + connect)) {
                        lock  = new InterProcessMutex(zookeeperDAO.getClient(), "/jdbcLock");
                        lock.acquire();
                        if (zookeeperDAO.getChildren("/jdbcUrl").size() > 0) {
                            throw new Exception("backup node already started");
                        }
                        zookeeperDAO.createTempNode("/jdbcUrl/" + connect, Bytes.toBytes(udeStartTime));
                        if (!"".equals(restUrl)) {
                            zookeeperDAO.createTempNode("/restUrl/" + restUrl, Bytes.toBytes(restUrl));
                        }
                    }
                } else {
                    if (!zookeeperDAO.isNodeExist("/jdbcUrlLocal/" + connect)) {
                        lock  = new InterProcessMutex(zookeeperDAO.getClient(), "/jdbcLock");
                        lock.acquire();
                        zookeeperDAO.createTempNode("/jdbcUrlLocal/" + connect, Bytes.toBytes(udeStartTime));
                        if (!"".equals(restUrl)) {
                            zookeeperDAO.createTempNode("/restUrlLocal/" + restUrl, Bytes.toBytes(restUrl));
                        }
                    }
                }
                Thread.sleep(sleepTime);
            } catch (Exception e) {
                LOG.error("register jdbcUrl exception,Exception:" + e.toString());
                server.stop();
                break;
            } finally {
                if(null!=lock){
                    try {
                        lock.release();
                    } catch (Exception e) {
                        LOG.error("release lock exception,Exception:" + e.toString());
                    }
                }
            }
        }
    }