ICE集群环境搭建

本文将介绍ice搭建高可用集群环境的详细操作步骤,实现 register 的主从备份、双服务器节点负载均衡等功能
 
1、下载:
     到官网  http://www.zeroc.com/ 下载最新的Ice-x.x.x.msi (windows)版本
 
2、安装:
     双击下载下来的安装文件,安装到自己喜欢的目录下(例:D:\Program Files\ZeroC)
 
3、环境配置:
      设置ICE的环境变量 ICEJ_HOME = D:\Program Files\ZeroC\ice-x.x.x
      同时将 %ICEJ_HOME%\bin 目录添加到 Path 路径中
 
下边介绍一个伪集群环境的配置和搭建步骤,节点情况如下:
     主注册节点(Master):tcp -h 127.0.0.1 -p 4061
     从注册节点(Replica):tcp -h 127.0.0.1 -p 4062
     服务节点node1: tcp -p 5062
     服务节点node2: tcp -p 5063
 
1、编写主注册节点 register_master.conf 配置文件
        IceGrid.InstanceName=DemoGrid  #设置注册节点的实例名称,其它的配置均基于该名字配置
        IceGrid.Registry.Client.Endpoints=tcp -p 4061  #设置用于监听客户端连接的协议类型及端口
        IceGrid.Registry.Data=D:\ice_service\register\data  #设置主注册节点的数据存储目录
        IceGrid.Registry.Server.Endpoints=tcp    #设置与服务器节点之间通讯的协议类型,不指定端口则由系统自动分配
        IceGrid.Registry.Internal.Endpoints=tcp   #
        IceGrid.Registry.AdminPermissionsVerifier=DemoGrid/NullPermissionsVerifier #指定进入管理系统的安全验证方式

        IceGridAdmin.Username=test #设置管理用户名
        IceGridAdmin.Password=test #设置管理密码
 
2、编写从注册节点 register_slave.conf 配置文件
        Ice.Default.Locator=DemoGrid/Locator:tcp -h 127.0.0.1 -p 4061  #指定主注册节点的位置
        IceGrid.Registry.Client.Endpoints=tcp -p 4062  #设置用于监听客户端连接的协议类型及端口
        IceGrid.Registry.Data=D:\ice_service\register\replica_data  #设置主注册节点的数据存储目录
        IceGrid.Registry.Server.Endpoints=tcp    #设置与服务器节点之间通讯的协议类型,不指定端口则由系统自动分配
        IceGrid.Registry.Internal.Endpoints=tcp   #
        IceGrid.Registry.AdminPermissionsVerifier=DemoGrid/NullPermissionsVerifier #指定进入管理系统的安全验证方式

        IceGridAdmin.Username=test #设置管理用户名
        IceGridAdmin.Password=test #设置管理密码
 
3、编写服务节点 node1.conf 配置文件
        Ice.Default.Locator=DemoGrid/Locator:tcp -h 127.0.0.1 -p 4061   #指定主注册节点的位置
        IceGrid.Node.Data=D:\ice_service\node\data  #设置节点1相关数据的存储目录
        IceGrid.Node.Endpoints=tcp -p 5062  #指定节点1用于监听客户端连接的端口号
        IceGrid.Node.Name=MyNode1 #指定节点1的名称

        Ice.StdErr=D:\ice_service\node\logs\node.stderr.log  #指定错误日志文件
        Ice.StdOut=D:\ice_service\node\logs\node.stdout.log #指定标准输出流日志文件
 
4、编写服务节点 node2.conf 配置文件
        Ice.Default.Locator=DemoGrid/Locator:tcp -h 127.0.0.1 -p 4061   #指定主注册节点的位置
        IceGrid.Node.Data=D:\ice_service\node\data2  #设置节点1相关数据的存储目录
        IceGrid.Node.Endpoints=tcp -p 5063  #指定节点1用于监听客户端连接的端口号
        IceGrid.Node.Name=MyNode2 #指定节点2的名称

        Ice.StdErr=D:\ice_service\node\logs\node2.stderr.log  #指定错误日志文件
        Ice.StdOut=D:\ice_service\node\logs\node2.stdout.log #指定标准输出流日志文件
 
5、编写IceBox.Service服务及相应的实现类
        1)编写slice配置文件,内容如下:
                module  com{
            module mop{
              module  interf{
                module generated{
                  interface CalcServiceIce{
                    double  calc(double d1,double d2);
                  };   
           
                  interface MessageServiceIce{
                    string sendMessage(string  msg );  //string全为小写
                  };
               };
             };
           };
         };
           2)使用eclipse的slice2java插件将该配置文件生成相应的java源码
           3)编写实现类 MessageServiceIceImpl 实现第二步生成的抽象类 _MessageServiceIceDisp ,代码如下:
          package com.mop.ice.serv;

                    import Ice.Current;

                    import com.mop.interf.generated._MessageServiceIceDisp;

                    public class MessageServiceIceImpl extends _MessageServiceIceDisp{

                             private static final long serialVersionUID = -6954195427744180145L;

     @Override
     public String sendMessage(String msg, Current __current) {
          System.out.println("recv:"+msg);
          return "msg handled success";
     }

                    }
              4)编写IceBox.Service服务类,用于将服务配置到icegrid中:
                        package com.mop.ice.icebox;

import com.mop.ice.serv.MessageServiceIceImpl;
import Ice.Communicator;
import IceBox.Service;
public class MessageServiceI extends Ice.ObjectImpl implements Service {
     /**
     *
     */
     private static final long serialVersionUID = 43338146304475187L;
    
     private Ice.ObjectAdapter _adapter;
     @Override
     public void start(String name, Communicator ci, String[] args) {
          _adapter=ci.createObjectAdapter(name);
         
          _adapter.add(new MessageServiceIceImpl(), Ice.Util.stringToIdentity("IceBoxTest"));
          _adapter.activate();
     }
     @Override
     public void stop() {
          if(_adapter!=null){
               _adapter.deactivate();
          }
     }
}
 
              5)将上述生成的类和自己编写的两个类打包,并放到指定的lib目录下
 
6、编写xml配置文件 app.xml ,在icegrid中集成icebox服务
          <?xml version="1.0" encoding="UTF-8"?>
  <icegrid>
<application name="testIceBoxApp">  <!-- 必须设置应用的名称 -->
  <replica-group id="testIceBoxReplicaGroup">  <!-- 对特定类型的icebox服务提供负载均衡策略  -->
       <load-balancing type="adaptive" />  <!--  有random、adaptive、round-robin、ordered 这4中负载均衡策略  -->
      <object identity="IceBoxTest"
               type="::com::mop::interf::generated::_MessageServiceIceDisp" />
  </replica-group>
  <node name="MyNode2"> <!-- 必须指定节点的名称,且该名称不能与其它节点名称同名  -->
    <icebox id="testIceBox"   <!-- 必须指定icebox的id,且在MyNode2节点中,次名字必须唯一  -->
                exe="C:\Program Files\Java\jdk1.7.0_09\bin\java.exe">  <!-- 指定可执行程序路径  -->
      <option>-server</option>
      <option>-classpath</option>
      <option>-Djava.ext.dirs=D:\ice_service\lib</option>
       <!-- <env>CLASSPATH=D:\ice_service\lib\*</env> -->   <!-- 此行可以 代替上面两行 -->
      <option>IceBox.Server</option>  <!-- 指定icebox的启动类  -->
      <log path="D:\ice_service\PassportAdminOut.log" property="Ice.StdOut"/>
      <log path="D:\ice_service\PassportAdminErr.log" property="Ice.StdErr"/>
      <service name="testIceAdapter" entry="com.mop.ice.icebox.MessageServiceI">
         <adapter name="testIceAdapter"   <!--  此处的adapter名字一定要和上边service 的名字一样  -->
                      replica-group="testIceBoxReplicaGroup"  <!--  此处指定本服务需要的负载均衡策略  -->
                      />
       </service>
      
     </icebox>
     <icebox id="testIceBox1" exe="C:\Program Files\Java\jdk1.7.0_09\bin\java.exe">
       <option>-server</option>
       <option>-classpath</option>
       <option>-Djava.ext.dirs=D:\ice_service\lib</option>
       <!-- <env>CLASSPATH=D:\ice_service\lib\*</env> -->
       <option>IceBox.Server</option>
       <log path="D:\ice_service\PassportAdminOut.log" property="Ice.StdOut"/>
       <log path="D:\ice_service\PassportAdminErr.log" property="Ice.StdErr"/>
       <service name="testIceAdapter1" entry="com.mop.ice.icebox.MessageServiceI">
         <adapter name="testIceAdapter1"
                      replica-group="testIceBoxReplicaGroup"
                      />
       </service>
      
     </icebox>
  </node>
</application>
</icegrid>
 
7、启动
       >  icegridregistry --Ice.Config=register_master.conf   #启动主注册服务器
       >  icegridregistry --Ice.Config=register_slave.conf   #启动从注册服务器 
       >    icegridnode --Ice.Config=node1.conf   #启动服务器节点1
       >    icegridnode --Ice.Config=node2.conf   #启动服务器节点2
       >    icegridadmin -u test -p test --Ice.Default.Locator="IceGrid/Locator:tcp -p 4061:tcp -p 5061" -e "application add 'app.xml' "
 
8、编写客户端进行测试
       使用eclipse编写客户端测试类Client,代码结构如下:
       public  class Client {
          public  static  void main(String[] args) {
              int status = 0;
            Communicator ic =  null ;
              try {
                  String str = String.  format( "%s:%s -h %s -p %s:%s -h %s -p %s", "IceGrid/Locator",
                               "tcp" , "127.0.0.1" , "4061" ,
                               "tcp" , "127.0.0.1" , "4062" );
                  InitializationData localInitializationData =  new InitializationData();
                  localInitializationData. properties = Util. createProperties();
                  localInitializationData. properties .setProperty(
                               "Ice.Default.Locator" , str);
                  ic = Util.  initialize(localInitializationData);
                  
                  MessageServiceIcePrx msgIceBoxclient = MessageServiceIcePrxHelper
                              .  checkedCast(ic.stringToProxy( "IceBoxTest"));   //此处IceBoxTest可以替换
                                                                              //成IceBoxTest@testIceBoxReplicaGroup
 
                  System.  out .println(msgIceBoxclient.sendMessage( "IceBox msg"));
 
            }  catch (Ice.LocalException e) {
                  e.printStackTrace();
                  status = 1;
            }  catch (Exception e) {
                  System.  err .println(e.getMessage());
                  status = 1;
            }
              if (ic !=  null) {
                    try {
                        ic.destroy();
                  }  catch (Exception e) {
                        System.  err .println(e.getMessage());
                        status = 1;
                  }
            }
            System.  exit(status);
      }
    }
 
 
 
扩展知识:
   其实可以自己实现一个与icebox功能类似的server类,用以加载同样的服务,同时修改配置文件app.xml 即可。
   例:
     保持上述其它操作不变,只需对如下两步进行修改即可,具体操作如下:
     1、编写 IceService 类如下(上述的MessageServiceI 类就用不着了):
        package com.mop.ice;
import com.mop.ice.serv.CalcServiceIceImpl;
import com.mop.ice.serv.MessageServiceIceImpl;
import Ice.Communicator;
import Ice.ObjectImpl;
public class IceService {
     /**
     * @Description:
     *
     * @param args
     */
     public static void main(String[] args) {
          int status = 0;
          Communicator ic = null;
         
          try{
          ic=Ice.Util.initialize(args);
          Ice.ObjectAdapter adapter=ic
                    .createObjectAdapterWithEndpoints("testAdapter", "default -h *");
         
          ObjectImpl object1=new MessageServiceIceImpl();
          ObjectImpl object2=new CalcServiceIceImpl();
         
          adapter.add(object1, ic.stringToIdentity("messageService"));
          adapter.add(object2, ic.stringToIdentity("calcService"));
         
          adapter.activate();
          ic.waitForShutdown();
          }catch(Ice.LocalException le){
               le.printStackTrace();
               status=1;
          }catch(Exception e){
               e.printStackTrace();
               status=2;
          }
          if(ic!=null){
               try{
               ic.destroy();
               }catch(Exception e){
                    e.printStackTrace();
                    status=3;
               }
          }
          System.exit(status);
     }
}
 
2、将app.xml配置文件修改如下:
    
<?xml version="1.0" encoding="UTF-8" ?>

<icegrid>
  <application name="testApp">
    <replica-group id="ReplicatedTestAdapter">
       <load-balancing type="adaptive" load-sample="1" n-replicas="1"/>
      <object identity="IceBoxTest"
               type="::com::mop::interf::generated::_MessageServiceIceDisp" />
       <object identity="calcService"
               type="::com::mop::ice::serv::CalcServiceIceImpl" />
     </replica-group>

     <server-template id="testServerTemplate">
      <parameter name="index"/>
       <parameter name="servClass"/>
       <parameter name="exepath" default="C:\Program Files\Java\jdk1.7.0_09\bin\java"/>
       <server id="testServer${index}"
               exe="${exepath}"
                 activation="on-demand">
         <option>-server</option>
          <option>-classpath</option>
          <option>C:\Program Files\ZeroC\Ice-3.4.1\bin</option>
          <option>-Djava.ext.dirs=D:\ice_service\lib</option>
         <option>${servClass}</option> 
          
          
          <adapter name="testAdapter"
                        replica-group="ReplicatedTestAdapter"
                        endpoints="tcp"/>
      
       </server>
     </server-template>

     <node name="MyNode1">
      <server-instance template="testServerTemplate"
                                index="1"
                                servClass="com.mop.ice.IceService"/>
     </node>

<!--
     <node name="MyNode2">
      <server-instance template="testServerTemplate"
                        index="2"/>
     </node>
-->
  </application>
</icegrid>
3、将第一步写好的IceService 类随同前一部分的内容重新打包,并放到指定的lib目录中
4、执行命令:
     >    icegridadmin -u test -p test --Ice.Default.Locator="IceGrid/Locator:tcp -p 4061:tcp -p 5061" -e "application update 'app.xml' "
5、使用前一部分编写好的客户端进行测试,即可成功!

转载于:https://www.cnblogs.com/blogszixin/p/3852913.html

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
zero ICE快速入门文档, ice是最优秀的rpc框架。 4、开发服务端代码如下 步骤一:编写Servant类即带有Disp的存根文件也就是说继承_HelloWorldDisp 这个类,这个类是个抽象类定义如下: public abstract class _HelloWorldDisp extends Ice.ObjectImpl implements HelloWorld{} servant类是ice所定义的接口,在服务器端的实现类。我们在该类中可以编写服务器端对请求的具体处理。 代码如下: package myHelloWorld.server; import Ice.Current; import myHelloWorld._HelloWorldDisp; public class HelloWorld_gaojs extends _HelloWorldDisp{ private static final long serialVersionUID = 1L; public void say(String s, Current __current) { System.out.println("Hello World!"+" the string s is " + s); } } 步骤二:创建远程的服务器类 package myHelloWorld.server; public class ServerStart { /** * @param args */ public static void main(String[] args) { int status = 0; // Communicator实例,是ice run time的主句柄 Ice.Communicator ic = null; try { // 调用Ice.Util.Initialize()初始化Ice run time System.out.println("初始化ice run time..."); ic = Ice.Util.initialize(args); // args参数可传可不传 // 创建一个对象适配器,传入适配器名字和在10000端口处接收来的请求 System.out.println("创建对象适配器,监听端口10000..."); Ice.ObjectAdapter adapter = ic.createObjectAdapterWithEndpoints( "SimplePrinterAdapter", "default -p 10000"); // 实例化一个PrinterI对象,为Printer接口创建一个servant System.out.println("为接口创建servant..."); Ice.Object object = new HelloWorld_gaojs(); // 调用适配器的add,告诉它有一个新的servant,传递的参数是刚才的servant,这里的“gaojs”是Servant的名字 System.out.println("对象适配器加入servant..."); adapter.add(object, Ice.Util.stringToIdentity("gaojs")); // 调用适配器的activate()方法,激活适配器。被激活后,服务器开始处理来自客户的请求。 System.out.println("激活适配器,服务器等待处理请求..."); adapter.activate(); // 这个方法挂起发出调用的线程,直到服务器实现终止为止。或我们自己发出一个调用关闭。 ic.waitForShutdown(); } catch (Ice.LocalException e) { e.printStackTrace(); status = 1; } catch (Exception e) { e.printStackTrace(); status = 1; } finally { if (ic != null) { ic.destroy(); } } System.exit(status); } }
Flink iceberg环境搭建需要以下几个步骤: 1. 安装Hadoop 首先需要安装Hadoop,并且配置好Hadoop的环境变量和相关配置文件,确保Hadoop能够正常使用。可以参考Hadoop官方文档进行安装和配置。 2. 下载Iceberg jar包 Iceberg是一个开源的数据表格管理库,可以在Hadoop上管理海量数据表。可以在Maven仓库中下载最新的Iceberg jar包,或者从GitHub上下载源码进行编译打包。 3. 配置Flink环境 在Flink环境中,需要配置Iceberg的相关依赖和参数。可以在Flink配置文件中添加以下内容: ``` flink.executor.extraClasspath: /path/to/iceberg.jar flink.sql.catalog.iceberg.type: iceberg flink.sql.catalog.iceberg.factory-class: org.apache.iceberg.flink.IcebergCatalogFactory flink.sql.catalog.iceberg.catalog-type: hadoop flink.sql.catalog.iceberg.warehouse: hdfs://<namenode-host>:<namenode-port>/<warehouse-dir> ``` 其中,`/path/to/iceberg.jar`为Iceberg jar包的路径,`<namenode-host>`和`<namenode-port>`为Hadoop的NameNode地址和端口号,`<warehouse-dir>`为Iceberg表格的存储目录。 4. 创建Iceberg表格 在Flink中,可以使用SQL语句创建Iceberg表格。例如: ``` CREATE TABLE my_table ( id INT, name STRING, age INT ) PARTITIONED BY (gender STRING) WITH ( 'type'='iceberg', 'catalog'='hadoop', 'catalog-namespace'='my_namespace', 'warehouse'='hdfs://<namenode-host>:<namenode-port>/<warehouse-dir>' ) ``` 其中,`my_table`为表格名称,`id`、`name`、`age`和`gender`为表格字段,`catalog-namespace`为Iceberg表格的命名空间。 5. 插入数据 使用Flink的DataStream或Table API插入数据到Iceberg表格中。例如: ``` StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(); DataStream<MyData> dataStream = env.fromElements( new MyData(1, "Alice", 20, "female"), new MyData(2, "Bob", 30, "male") ); Table table = ... // get the Iceberg table table.executeInsert(dataStream); ``` 其中,`MyData`为数据类型,`table`为Iceberg表格对象。 通过以上步骤,就可以在Flink中搭建Iceberg环境,并且使用Iceberg管理海量数据表。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值