RuiJi.Net 的节点类型和职责

RuiJi.Net的节点分为6种，分别是抓取节点，抓取代理节点，抽取节点，抽取代理节点，新闻源监测节点，新闻源代理节点。

各个节点的功能如下

1. 抓取节点: 负责下载指定地址源文件
2. 抓取代理节点: 负责维护可用抓取服务器列表及分配抓取任务
3. 抽取节点: 根据规则进行抽取
4. 抽取代理节点: 负责维护可用抽取服务器列表及分配抽取任务
5. 订阅源监测节点: 负责定时检查订阅源更新，将更新地址转发给抓取节点下载并保存最后抽取结果
6. 订阅源代理节点: 负责维护可用订阅源监测节点、记录及分配订阅源，根据地址匹配抽取规则

RuiJi.Net 集群

RuiJi.Net的配置文件如下,您需要在config文件中配置这些信息

{
  "setting": {
    "zkPath": "zookeeper-3.4.12",
    "zkServer": "localhost:2181",
    "ruiJiServer": "localhost:36000",
    "docServer": "localhost:80"
  },
  "nodes": [
    {
      "baseUrl": "localhost:36000",
      "type": "cp"
    },
    {
      "baseUrl": "localhost:37000",
      "type": "ep"
    },
    {
      "baseUrl": "localhost:38000",
      "type": "fp"
    },
    {
      "baseUrl": "localhost:36001",
      "type": "c",
      "proxy": "localhost:36000"
    },
    {
      "baseUrl": "localhost:36002",
      "type": "c",
      "proxy": "localhost:36000"
    },
    {
      "baseUrl": "localhost:37001",
      "type": "e",
      "proxy": "localhost:37000"
    },
    {
      "baseUrl": "localhost:37002",
      "type": "e",
      "proxy": "localhost:37000"
    },
    {
      "baseUrl": "localhost:38001",
      "type": "f",
      "proxy": "localhost:38000"
    },
    {
      "baseUrl": "localhost:38002",
      "type": "f",
      "proxy": "localhost:38000"
    }
  ]
}

setting

名称	说明
zkPath	zookeeper路径
zkServer	zookeeper地址
ruiJiServer	本地模式下服务地址
docServer	文档服务器地址

zkPath 在使用自启动zookeeper时使用，您也可以不使用自管理的zookeeper

appSettings

RuiJi.Net可以使用自管理ZooKeeper 如果指定zkPath，RuiJi.Net将会自动启动ZooKeeper

zkServer 被用来告诉所有的节点 ZooKeeper 服务器的位置