风控系统（四）——上线后记

上线后记

在调研了陌陌框架、flink框架之后，我们最终使用了flink进行了风控开发。但是再与业务人员核对数据的过程中，我们发现我们作出的风控功能是与其他团队有重合的。

再从需求说起

我们的需求是由其他同事向业务人员了解后整理完成的。风控模型也是其他同事设计完直接写好文档给我们看的，我们基于文档直接找到了相对应的业务人员了解了基本的逻辑后，就开始了开发过程。

整个过程当中我们没有对需求进行一个很好的评估，也没有关注业务人员的需求验收标准，这就导致风控模型上线后当天大量预警、产生误报。这是因为我们设计的模型中条件过于宽松，将很多正常的数据、业务人员不关注的数据都预警了出来。

再之后项目中我们一定要将需求的背景调研好，需求的边界划分好，了解业务人员的真实需求，与他们的验收标准。

前期设计工作做什么？

这次项目中，我们头痛主要有两个地方：沟通，以及开发测试上线环节的不熟悉。

在沟通方面，对其他团队技术负责人并不熟悉，不了解其他系统具体做什么，不了解其他系统底层数据是如何来的，导致我们风控模型在取数阶段数据就可能不准。

在开发测试上线环节，我们并不清楚开发、测试、上线环节应该找谁，而且flink、kafka、nifi等大数据组件都需要我们自己安装运维。测试的同事对功能性应用测试流程比较熟悉，但是对我们这类数据类应用的测试流程还是很陌生的。

总结起来，在前期的设计工作我们应该从三个方面进行考虑：

1、数据架构

    数据架构应该直接对标业务需求，能从逻辑层面将业务模型转化为数据模型。保证数据从输入、转化、输出三个方面符合业务逻辑，输出方面能够满足业务人员的验收标准。

2、应用架构

    应用架构指的是我们应该通过什么方式实现业务架构，通过哪些工具实现输入、转化、输出。比如同样一个数据业务需求，使用流处理还是批处理，数据的输入从哪种存储介质中获取，数据的转化使用什么工具，输出使用哪种介质进行存储。

   在这次的开发中，我们的数据输入主要有mq和mysql两种，我们通过apache nifi的mq消费组件从源数据进行摄取，使用apache nifi与flink分别作为单流与双流的转化过程，使用kafka作为每个转换过程的存储介质，使用mysql作为最后的输出介质。

3、软件架构

    软件架构主要指应用运行时的网络环境、数据传输过程、存储位置、以及部署方式等。这一部分是我们本次项目做的最不好的地方。

   这部分主要涉及到与外部数据的交互过程，是在开发过程最容易被忽视的环节。

后续

接下来的工作还是要继续完成，一定要理解好需求，划定好需求边界。