淘宝动态配置diamond-server 源码讲解

1.diamond-server工程里 使用了我们常用的一些技术 比如spring springmvc jsbctamplate 等等这些技术

 

   jar包如下

                  

2.首先我们先从启动tomcat的时候 加载bean的时候 会有三个bean进行初始化数据的bean开始分析

   2.1加载diamond-server其他实例的ip地址和端口号

         com.taobao.diamond.server.service.NotifyService

        

[java] view plaincopy

1. @PostConstruct  
2.     public void loadNodes() {  
3.         InputStream in = null;  
4.         try {  
5.             in = ResourceUtils.getResourceAsStream("node.properties");  
6.             nodeProperties.load(in);  
7.         }  
8.         catch (IOException e) {  
9.             log.error("加载节点配置文件失败");  
10.         }  
11.         finally {  
12.             try {  
13.                 if (in != null)  
14.                     in.close();  
15.             }  
16.             catch (IOException e) {  
17.                 log.error("关闭node.properties失败", e);  
18.             }  
19.         }  
20.         log.info("节点列表:" + nodeProperties);  
21.     }  

        node配置文件里面的内容(在本地部署两个tomcat实例)

 

        

[html] view plaincopy

1. A=http://10.144.35.250:8080/diamond-server/notify.do  
2. B=http://10.144.35.250:9090/diamond-server1/notify.do  

 

    2.2加载数据库信息,创建BasicDataSource，JdbcTemplate对象

          com.taobao.diamond.server.service.PersistService

   

[java] view plaincopy

1. @PostConstruct  
2.     public void initDataSource() throws Exception {  
3.         // 读取jdbc.properties配置, 加载数据源  
4.         Properties props = ResourceUtils.getResourceAsProperties("jdbc.properties");  
5.         BasicDataSource ds = new BasicDataSource();  
6.         ds.setDriverClassName(JDBC_DRIVER_NAME);  
7.         ds.setUrl(ensurePropValueNotNull(props.getProperty("db.url")));  
8.         ds.setUsername(ensurePropValueNotNull(props.getProperty("db.user")));  
9.         ds.setPassword(ensurePropValueNotNull(props.getProperty("db.password")));  
10.         ds.setInitialSize(Integer.parseInt(ensurePropValueNotNull(props.getProperty("db.initialSize"))));  
11.         ds.setMaxActive(Integer.parseInt(ensurePropValueNotNull(props.getProperty("db.maxActive"))));  
12.         ds.setMaxIdle(Integer.parseInt(ensurePropValueNotNull(props.getProperty("db.maxIdle"))));  
13.         ds.setMaxWait(Long.parseLong(ensurePropValueNotNull(props.getProperty("db.maxWait"))));  
14.         ds.setPoolPreparedStatements(Boolean.parseBoolean(ensurePropValueNotNull(props  
15.             .getProperty("db.poolPreparedStatements"))));  
16.   
17.         this.jt = new JdbcTemplate();  
18.         this.jt.setDataSource(ds);  
19.         // 设置最大记录数，防止内存膨胀  
20.         this.jt.setMaxRows(MAX_ROWS);  
21.         // 设置JDBC执行超时时间  
22.         this.jt.setQueryTimeout(QUERY_TIMEOUT);  
23.     }  

     2.3 定时任务服务(每600s 从数据库拉取数据到本地磁盘和本地缓存)

 

           com.taobao.diamond.server.service.TimerTaskService

           

[java] view plaincopy

1. @PostConstruct  
2.     public void init() {  
3.         this.scheduledExecutorService = Executors.newSingleThreadScheduledExecutor(new ThreadFactory() {  
4.   
5.             public Thread newThread(Runnable r) {  
6.                 Thread t = new Thread(r);  
7.                 t.setName(THREAD_NAME);  
8.                 t.setDaemon(true);  
9.                 return t;  
10.             }  
11.   
12.         });  
13.   
14.         DumpConfigInfoTask dumpTask = new DumpConfigInfoTask(this);  
15.         dumpTask.run();  
16.         this.scheduledExecutorService.scheduleWithFixedDelay(dumpTask, SystemConfig.getDumpConfigInterval(),  
17.             SystemConfig.getDumpConfigInterval(), TimeUnit.SECONDS);  
18.     }  

3.以添加一条数据走一遍diamond-server的流程

 

    

   3.1 添加数据的页面

          

 

   3.2提交数据进入controller

        com.taobao.diamond.server.controller.AdminController

       

[java] view plaincopy

1. @RequestMapping(params = "method=postConfig", method = RequestMethod.POST)  
2.     public String postConfig(HttpServletRequest request, HttpServletResponse response,  
3.             @RequestParam("dataId") String dataId, @RequestParam("group") String group,  
4.             @RequestParam("content") String content, ModelMap modelMap) {  
5.         response.setCharacterEncoding("GBK");  
6.   
7.         boolean checkSuccess = true;  
8.         String errorMessage = "参数错误";  
9.         if (StringUtils.isBlank(dataId) || DiamondUtils.hasInvalidChar(dataId.trim())) {  
10.             checkSuccess = false;  
11.             errorMessage = "无效的DataId";  
12.         }  
13.         if (StringUtils.isBlank(group) || DiamondUtils.hasInvalidChar(group.trim())) {  
14.             checkSuccess = false;  
15.             errorMessage = "无效的分组";  
16.         }  
17.         if (StringUtils.isBlank(content)) {  
18.             checkSuccess = false;  
19.             errorMessage = "无效的内容";  
20.         }  
21.         if (!checkSuccess) {  
22.             modelMap.addAttribute("message", errorMessage);  
23.             return "/admin/config/new";  
24.         }  
25.   
26.         dataId = dataId.trim();  
27.         group = group.trim();  
28.   
29.         <span style="color:#FF0000;">this.configService.addConfigInfo(dataId, group, content);</span>  
30.   
31.         modelMap.addAttribute("message", "提交成功!");  
32.         return listConfig(request, response, dataId, group, 1, 20, modelMap);  
33.     }  

    3.3进入添加数据的service层

 

         com.taobao.diamond.server.service.ConfigService

 

[java] view plaincopy

1. public void addConfigInfo(String dataId, String group, String content) {  
2.         checkParameter(dataId, group, content);  
3.         ConfigInfo configInfo = new ConfigInfo(dataId, group, content);  
4.         // 保存顺序：先数据库，再磁盘  
5.         try {  
6.             persistService.addConfigInfo(configInfo);  
7.             // 切记更新缓存  
8.             this.contentMD5Cache.put(generateMD5CacheKey(dataId, group), configInfo.getMd5());  
9.             diskService.saveToDisk(configInfo);  
10.             // 通知其他节点  
11.             this.notifyOtherNodes(dataId, group);  
12.         }  
13.         catch (Exception e) {  
14.             log.error("保存ConfigInfo失败", e);  
15.             throw new ConfigServiceException(e);  
16.         }  
17.     }  

         到此为止，已经把数据添加到数据里，并且其他diamond-server实例也已经更新到最新的数据。

 

 

4.我们现在看看diamond是如何通知到其他的diamond实例的，如果通知不到其他diamond实例的话，该如何同步

 

    4.1 通知其他的diamond实例

           我们是通过node配置文件进行配置的

            现在我们看一下代码

            com.taobao.diamond.server.service.NotifyService

           

[java] view plaincopy

1. public void notifyConfigInfoChange(String dataId, String group) {  
2.         Enumeration<?> enu = nodeProperties.propertyNames();  
3.         while (enu.hasMoreElements()) {  
4.             String address = (String) enu.nextElement();  
5.             if (address.contains(SystemConfig.LOCAL_IP)) {  
6.                 continue;  
7.             }  
8.             String urlString = generateNotifyConfigInfoPath(dataId, group, address);  
9.             final String result = invokeURL(urlString);  
10.             log.info("通知节点" + address + "分组信息改变：" + result);  
11.         }  
12.     }  
13.   
14.   
15.     String generateNotifyConfigInfoPath(String dataId, String group, String address) {  
16.         String specialUrl = this.nodeProperties.getProperty(address);  
17.         String urlString = PROTOCOL + address + URL_PREFIX;  
18.         // 如果有指定url，使用指定的url  
19.         if (specialUrl != null && StringUtils.hasLength(specialUrl.trim())) {  
20.             urlString = specialUrl;  
21.         }  
22.         urlString += "?method=notifyConfigInfo&dataId=" + dataId + "&group=" + group;  
23.         return urlString;  
24.     }  
25.   
26.   
27.     /** 
28.      * http get调用 
29.      *  
30.      * @param urlString 
31.      * @return 
32.      */  
33.     private String invokeURL(String urlString) {  
34.         HttpURLConnection conn = null;  
35.         URL url = null;  
36.         try {  
37.             url = new URL(urlString);  
38.             conn = (HttpURLConnection) url.openConnection();  
39.             conn.setConnectTimeout(TIMEOUT);  
40.             conn.setReadTimeout(TIMEOUT);  
41.             conn.setRequestMethod("GET");  
42.             conn.connect();  
43.             InputStream urlStream = conn.getInputStream();  
44.             StringBuilder sb = new StringBuilder();  
45.             BufferedReader reader = null;  
46.             try {  
47.                 reader = new BufferedReader(new InputStreamReader(urlStream));  
48.                 String line = null;  
49.                 while ((line = reader.readLine()) != null) {  
50.                     sb.append(line);  
51.                 }  
52.             }  
53.             finally {  
54.                 if (reader != null)  
55.                     reader.close();  
56.             }  
57.             return sb.toString();  
58.   
59.         }  
60.         catch (Exception e) {  
61.             e.printStackTrace();  
62.             log.error("http调用失败,url=" + urlString, e);  
63.         }  
64.         finally {  
65.             if (conn != null) {  
66.                 conn.disconnect();  
67.             }  
68.         }  
69.         return "error";  
70.     }  

     4.2 如果通过http请求并没有通知到其他实例，那该如何同步数据。

 

           diamond本身有个定时任务进行查询数据库

           现在我们看一下代码

          com.taobao.diamond.server.service.TimerTaskService

         

[java] view plaincopy

1. @PostConstruct  
2.     public void init() {  
3.         this.scheduledExecutorService = Executors.newSingleThreadScheduledExecutor(new ThreadFactory() {  
4.   
5.             public Thread newThread(Runnable r) {  
6.                 Thread t = new Thread(r);  
7.                 t.setName(THREAD_NAME);  
8.                 t.setDaemon(true);  
9.                 return t;  
10.             }  
11.   
12.         });  
13.   
14.         DumpConfigInfoTask dumpTask = new DumpConfigInfoTask(this);  
15.         dumpTask.run();  
16.         this.scheduledExecutorService.scheduleWithFixedDelay(dumpTask, SystemConfig.getDumpConfigInterval(),  
17.             SystemConfig.getDumpConfigInterval(), TimeUnit.SECONDS);  
18.     }  

     到这diamond-server基本的业务就差不多了，对于更改数据和删除数据这些跟添加数据也是一样业务，必须得同步数据。

 

     存储到磁盘的业务是一个组一个文件夹，组文件夹相应下面是存储的不同的dataId，一个dataId是一个文件。

     希望关于diamond-server的内容 对大家有所帮助。