系统对接，数据抽取采集

目录

业务需求分析 

数据来源

接口方式

接口文件的定义

接口文件的保障机制

采集任务的监控机制

---

业务需求分析 

业务需求分析是一切工作开展的前提，这个过程明确了我们建设系统的目标和方向。在数据仓库或者业务系统建设初期，业务需求往往不会非常的明确，然而大体的方向和思路是有的，比如领导的一个想法、各个部门的群体痛点需求等等。

在业务需求分析阶段，针对数据仓库建设需要明确的几个点：

• 系统目标用户
• 业务组成、业务流程、业务量
• 系统的大体功能应用
• 业务未来一到两年的增值量，系统功能的规划

数据来源

在业务需求分析阶段明确了业务结构和系统诉求后，接下来就是根据这些内容进一步明确数据的来源。

总结几点：

• 需要哪些类型的数据
• 这些数据当前是否具备、都在哪些系统里面？
• 这些系统是否都具备北向的接口

接口方式

明确数据来源后，进一步确定系统的对接方式，比如采用DB接口、FTP接口、webservice等，在接口选取方面，要根据系统提供的数据类型确定，如资源类的可采用FTP文件类型接口，短周期性能指标类，量不大的可以采用http接口，一般周期性能指标类但数量较大的，可采用FTP接口等等。

接口文件的定义

接口文件的定义根据接口方式的不同，其定义的内容项也不同。

通常来说有几点：

• 文件的存放路径定义
• 文件类型格式定义
• 文件命名定义
• 文件编码格式定义
• 文件分隔符定义
• 文件字段定义
• 文件字典定义

接口文件的保障机制

接口文件的保障机制主要面对的问题是：文件是否准时提供、文件是否遗漏、文件的一系列定义是否合规、文件的备份/重传等，总的来说接口文件的保障机制是为文件的可靠传输。当然不同的接口方式，采用的接口文件保障机制也不同，特别的受制于时间和成本，根据业务和数据的重要性来说，接口文件的保障机制并不是一道必要的环节，毕竟数据有问题，可通过日志进行核查，可重传重新采集，在企业快速发展的初期这些问题都可以作为后续完善的内容。

采集任务的监控机制

前面已经考虑的那么多了，自然在采集任务过程更不能出了差错，无论是自定义采集程序，还是采用通用的采集工具，采集任务的监控机制都是必要的，它是对采集任务有效性的必要保障，核心诉求就是在采集任务出了问题时能够及时发现异常，数据质量处了问题是，可追溯至具体哪一个采集任务，在哪一刻进行的采集。