大数据BI系统如何做数据采集

　　随着数据量的不断增速，数据价值也逐渐被很多公司所关注，尤其是偏重于业务型的企业，大量数据的产生，在未被挖掘整合的过程中通常被看作是一堆无效且占用资源的；但一旦被发掘，数据的价值将无可估量。尤其像电商，银行，服务行业等等。

 

　　数据采集系统故名思意就是将数据从数据源采集到能够支撑大数据架构环境中，从而实现数据的采集以便后期对数据的二次加工建立数据仓库。

 

　　一、业务流程梳理

 

　　在业务流程梳理的过程中，我们先预设个场景，如：

 

　　当公司运营人员提出一个订单转化率的需求，作为产品人员，首先要确定分析订单转化率与哪些因素有关，最终确定从用户下单，支付这两个环节中分析，如当月有多少用户提交了订单，之后有多少用户确认了订单，有多少用户最终支付订单等；最终呈现了漏斗形的分析主题；因此分析时就需要确定所需要的这些数据要从哪些表获取，都需要获取哪些数据，获取到后要采集存储到哪个数据仓库的表中，最终被使用到。

 

　　因此从上面的例子中我们可以从以下几点思考业务流程：

 

　　确定主题，确定主题模型；

 

　　确定表和数据口径；

 

　　确定需要与目标的映射关系；

 

　　确定表与口径需要从哪些源下获取，以及如何数据更新的频率等&