DolphinDB架构逻辑、配置、启动

• DolphinDB

  DolphinDB是分布式时序数据库，直观理解上，DolphinDB集群由3种类型节点构成：

  1. controller

     用于集群管理

  2. agent

     用于关闭或开启数据节点

  3. data node

     用于数据存储、查询、计算

  但从字面理解，可能会以为controller控制着agent和data node，在事物处理上可能有此类含义，但并不全是。

  比如重启，在重启这个事务上，三者是独立的。

  dolphindb.exe这个启动文件指的是controller，单单关闭DolphinDB再重启，并不会改变agent和datanode的设置，如果做了各自相应的配置更改，需要各自单独重启才能生效。这一点与常规软件不同。

• 配置与log

  单节点部署的配置写在server/dolphindb.cfg文件中；

  集群配置需要在server文件夹下新建文件夹：

  1. config

     1. controller.cfg

     2. cluster.nodes

     3. cluster.cfg

     4. agent.cfg

  2. data

  3. log

     如果运行中出现什么问题，可以到log文件夹下对应的log文件查看。

• 单节点部署

  单节点不需要部署，直接找到server/dolphindb.exe运行即可。

• 单物理节点集群部署

  DolphinDB集群有三类节点：controller、agent、data node。

  在启动一个集群之前，必须配置控制节点和代理节点。数据节点可以在集群启动后通过网络界面来配置，也可以在初始阶段配置。

  在server文件夹下新建config、data、log文件夹，并在config下新建如下四个文件进行配置

  1. 配置控制节点参数文件controller.cfg

     localSite=192.168.1.103:8920:ctl8920 # 【必须，其他均可选】节点局域网信息，格式为 IP地址:端口号:节点别名，IP地址为内网IP，所有字段均为必选项。
     localExecutors=3 # 本地执行者的数量。默认值是CPU的内核数量 - 1。
     maxConnections=128 # 最大向内连接数
     maxMemSize=16 # 最大内存（GB）
     webWorkerNum=4 # 处理http请求的工作池的大小。默认值是1。
     workerNum=4 # 常规交互式作业的工作池大小。默认值是CPU的内核数量。
     dfsReplicationFactor=1 # 每个表分区或文件块的副本数量。默认值是2。
     dfsReplicaReliabilityLevel=0 # 多个副本是否可以保存在同一台物理服务器上。 0：可以; 1：不可以。默认值是0。
     

  2. 配置代理节点参数文件agent.cfg

     workerNum=3
     localExecutors=2
     maxMemSize=4
     localSite=192.168.1.103:8910:agent   # 必填
     controllerSite=192.168.1.103:8920:ctl8920   # 必填
     

     controller.cfg中的参数localSite应当与所有代理节点的配置文件agent.cfg中的参数controllerSite一致,；

     因为代理节点使用agent.cfg中的参数controllerSite来寻找controller。若controller.cfg中的参数localSite有变化，即使只是node alias有改变，所有代理节点的配置文件agent.cfg中的参数controllerSite都应当做相应的改变。

  3. 配置数据节点参数文件cluster.cfg

     maxConnections=128
     maxMemSize=32
     workerNum=8
     localExecutors=7
     webWorkerNum=2
     

     cluster.cfg的配置适用于集群中所有数据节点。

  4. 配置集群成员参数文件cluster.nodes

     localSite,mode
     192.168.1.103:8910:agent,agent
     192.168.1.103:8921:DFS_NODE1,datanode
     192.168.1.103:8922:DFS_NODE2,datanode
     

     cluster.nodes用于存放集群代理节点和数据节点信息。

     试用版最多支持两个数据节点。

     该配置文件分为两列：

     • 第一例存放节点IP地址：端口号：和节点别名，节点别名是大小写敏感的，而且在集群内必须是唯一的；
     • 第二列是说明节点类型，代理节点类型为agent, 而数据节点类型为datanode；

• DolphinDB集群启动Windows

  命令行均在server文件夹下运行。

1. 启动代理节点

   dolphindb.exe -mode agent -home data -config config/agent.cfg -logFile log/agent.log
   

2. 启动控制节点

   dolphindb.exe -mode controller -home data -config config/controller.cfg -clusterConfig config/cluster.cfg -logFile log/controller.log -nodesFile config/cluster.nodes
   

3. 启动网络上的集群管理器

   启动控制节点和代理节点之后，可以通过提供的集群管理界面来开启或关闭数据节点。在浏览器的地址栏中输入

   192.168.1.103:8920 # 控制节点端口
   

• DolphinDB关闭节点

  quit