Flowable如何结合mongodb实现查询历史记录

很久没有写博客，承蒙诸位流程爱好者的关心和爱护，鄙人才疏学浅，但尽管如此，我也是依然让自己为社会做点贡献，帮助那些需要帮助的人能节约时间和少走弯路，这也是我的初衷。自立立人，自达达人。

flowable本身是实现了同步历史记录到mongodb中，但是有些弊端，就是mongodb中有数据，关系型数据库中没有数据，而且是利用job的方式实现的，性能不是很好

目标：让自己的流程跑的更快

1、学会如何使用go-mysql-transfer实时同步数据到mongodb 2、mongodb如何关联查询

---

• 第一 、安装mysql 并开启binlog

  #Linux在my.cnf文件
  #Windows在my.ini文件 log-bin=mysql-bin # 开启 binlog binlog-format=ROW # 选择 ROW 模式 server_id=1 # 配置 MySQL replaction 需要定义，不要和
  go-mysql-transfer 的 slave_id 重复

• 第二、下载go-mysql-transfer

• 实现原理：
  1、go-mysql-transfer将自己伪装成MySQL的Slave，
  2、向Master发送dump协议获取binlog，解析binlog并生成消息
  3、将生成的消息实时、批量发送给接收端
  下面我们来一步步的同步和查询mongodb的数据
  文档 https://www.kancloud.cn/wj596/go-mysql-transfer/2112000

• 下载

• 第三、修改app.yml

# mysql配置
addr: 127.0.0.1:3306
user: root
pass: 123456
charset : utf8
slave_id: 1001 #slave ID
flavor: mysql #mysql or mariadb,默认mysql

#系统相关配置
#data_dir: D:\\transfer #应用产生的数据存放地址，包括日志、缓存数据等，默认当前运行目录下store文件夹
#logger:
#  level: info #日志级别；支持：debug|info|warn|error，默认info

#maxprocs: 50 #并发协（线）程数量，默认为: CPU核数*2；一般情况下不需要设置此项
bulk_size: 1000 #每批处理数量，不写默认100，可以根据带宽、机器性能等调整;如果是全量数据初始化时redis建议设为1000，其他接收端酌情调大

#prometheus相关配置
#enable_exporter: true #是否启用prometheus exporter，默认false
#exporter_addr: 9595 #prometheus exporter端口，默认9595

#web admin相关配置
enable_web_admin: true #是否启用web admin，默认false
web_admin_port: 8060 #web监控端口,默认8060

#cluster: # 集群相关配置
  #name: myTransfer #集群名称，具有相同name的节点放入同一个集群
  #bind_ip: 127.0.0.1 # 绑定的IP,如果机器有多张网卡(包含虚拟网卡)会有多个IP，使用这个属性绑定一个
  #ZooKeeper地址，多个用逗号风格
  #zk_addrs: 192.168.1.10:2181,192.168.1.11:2182,192.168.1.12:2183
  #zk_authentication: 123456 #digest类型的访问秘钥，如：user:password，默认为空
  #etcd_addrs: 127.0.0.1:2379 #etcd连接地址，多个用逗号分隔
  #etcd_user: test #etcd用户名
  #etcd_password: 123456 #etcd密码


#目标类型
target: mongodb # 支持redis、mongodb、elasticsearch、rocketmq、kafka、rabbitmq

#mongodb连接配置
mongodb_addrs: 127.0.0.1:27017 #mongodb连接地址，多个用逗号分隔
#mongodb_username: #mongodb用户名，默认为空
#mongodb_password: #mongodb密码，默认为空

#规则配置  
rule:
  -
    schema: flow-prod #数据库名称
    table: tbl_token_cache #表名称
    order_by_column: id #排序字段，存量数据同步时不能为空
    column_lower_case: true 
    column_underscore_to_camel: true
    default_column_values: source=binlog
    mongodb_database: flowable #mongodb database不能为空

• 第四、重启mysql，开启 go-mysql-transfer

Windows直接运行 go-mysql-transfer.exe
Linux执行 nohup go-mysql-transfer &

• 第五、mongodb的查询

        LookupOperation procinstLookup = Aggregation.lookup(MongoConstant.TABLE_ACT_HI_PROCINST, "procInstId", "procInstId", "procinsts");
        LookupOperation idEntityLinkLookup = Aggregation.lookup(MongoConstant.TABLE_ACT_HI_IDENTITYLINK, "id", "taskId", "identitylinks");
        LookupOperation flowExtendHisprocinstLookup = Aggregation.lookup(MongoConstant.TABLE_FLOW_EXTEND_HISPROCINST, "procInstId", "processInstanceId", "flowExtendHisprocinsts");
        Criteria criterias = new Criteria();
        List<Criteria> andCrierias = new ArrayList<>();
        List<Criteria> orCrierias = new ArrayList<>();
        andCrierias.add(Criteria.where("endTime").exists(true));
        if (StringUtils.isNotBlank(params.getAssignee())) {
            orCrierias.add(Criteria.where("owner").is(params.getAssignee()));
            orCrierias.add(Criteria.where("identitylinks.userId").is(params.getAssignee()));
        }
        if (CollectionUtils.isNotEmpty(params.getRoleSns())) {
            orCrierias.add(Criteria.where("identitylinks.groupId").in(params.getRoleSns()));
        }
        if (StringUtils.isNotBlank(params.getCreator())) {
            andCrierias.add(Criteria.where("procinsts.startUserId").is(params.getCreator().trim()));
        }
        if (StringUtils.isNotBlank(params.getModelKey())) {
            andCrierias.add(Criteria.where("flowExtendHisprocinsts.modelKey").is(params.getModelKey().trim()));
        }
        if (CollectionUtils.isNotEmpty(params.getModelKeys())) {
            andCrierias.add(Criteria.where("flowExtendHisprocinsts.modelKey").in(params.getModelKeys()));
        }
        if (StringUtils.isNotBlank(params.getBusinessKey())) {
            andCrierias.add(Criteria.where("procinsts.businessKey").is(params.getBusinessKey()));
        }
        if (StringUtils.isNotBlank(params.getProcessStatus())) {
            andCrierias.add(Criteria.where("flowExtendHisprocinsts.processStatus").is(params.getProcessStatus().trim()));
        }
        if (StringUtils.isNotBlank(params.getStartTime()) && StringUtils.isNotBlank(params.getEndTime())) {
            andCrierias.add(Criteria.where("startTime").gte(params.getStartTime().trim()));
            andCrierias.add(Criteria.where("startTime").lte(params.getEndTime().trim()));
        }
        if (StringUtils.isNotBlank(params.getAppSn())) {
            andCrierias.add(Criteria.where("tenantId").is(params.getAppSn().trim()));
        } else if (CollectionUtils.isNotEmpty(params.getAppSns())) {
            andCrierias.add(Criteria.where("tenantId").in(params.getAppSns()));
        }
        if (StringUtils.isNotBlank(params.getProcInstName())) {
            Pattern pattern = Pattern.compile("^.*" + params.getProcInstName().trim() + ".*$", Pattern.CASE_INSENSITIVE);
            //通过流程标题或流程编号复合查询
            orCrierias.add(Criteria.where("procinsts.procInstName").regex(pattern));
            orCrierias.add(Criteria.where("procinsts.businessKey").regex(pattern));
            orCrierias.add(Criteria.where("procinsts.startUserName").regex(pattern));
        }
        SkipOperation skip = Aggregation.skip((long) query.getPageNum() > 0 ? (query.getPageNum() - 1) * query.getPageSize() : 0L);
        LimitOperation limit = Aggregation.limit(query.getPageSize());
        SortOperation orderBy = Aggregation.sort(Sort.by(Sort.Direction.DESC, "endTime"));
        if (CollectionUtils.isNotEmpty(andCrierias)) {
            criterias.andOperator(andCrierias);
        }
        if (CollectionUtils.isNotEmpty(orCrierias)){
            criterias.orOperator(orCrierias);
        }
        AggregationOperation match = Aggregation.match(criterias);
        Aggregation aggregation = Aggregation.newAggregation(procinstLookup, idEntityLinkLookup, flowExtendHisprocinstLookup, match, skip, limit, orderBy);
        // 当前页数据
        AggregationResults<SearchTaskVo> datas = mongoTemplate.aggregate(aggregation, MongoConstant.TABLE_ACT_HI_TASKINST, SearchTaskVo.class);
        //数据转换
        this.convertData(datas.getMappedResults());
        // 总条数
        AggregationResults<SearchCountVo> totalDatas = mongoTemplate.aggregate(
                Aggregation.newAggregation(procinstLookup, idEntityLinkLookup, flowExtendHisprocinstLookup,
                        match, Aggregation.count().as("count"), Aggregation.project("count")), MongoConstant.TABLE_ACT_HI_TASKINST, SearchCountVo.class);
        long total = 0L;
        if (CollectionUtils.isNotEmpty(totalDatas.getMappedResults())){
            total = totalDatas.getMappedResults().get(0).getCount();
        }