亿级数据，秒级响应！看Smartbi助力经济普查，把脉时代经济！

​距离第一次经济普查工作已经整整 15 年，该项工作是我国经济发展进入 21 世纪进行的一项对重大国情国力的全面调查，是党中央国务院为正确认识国情，准确把握国力，科学制定国策而采取的一项重要举措。

然而，我国经济普查历史次数少，对普查数据的挖掘研究多停留在传统统计类软件。虽然数据分析技术应用于经济普查的研究已经趋于成熟，但面对数据“海量”的特点，很多数据分析平台处理起来也逐渐显得“捉襟见肘”。

因此，为了应对性能问题，在本次某省的经济普查项目建设中，Smartbi全面支撑并服务该省经济普查数据处理、普查资料开发和数据分析挖掘工作，确保1秒内响应亿级数据。

一、项目背景

为保障该省统计局在服务经济普查数据处理、普查资料开发和数据分析挖掘工作，本次项目主要对普查基础信息数据管理系统开发、数据底册处理服务、数据处理平台审核汇总服务三部分进行全面建设。

Smartbi所有软件部分均遵循经济普查相关报表制度和国家行业标准，并按照信息系统等级保护三级要求进行建设。主要如下：

1、采用规范、高效的数据存储管理模式，建设以第四次经济普查原始数据为基础并适用于经济普查、农业普查和人口普查的普查基础信息数据管理系统，包括数据库管理、数据分析工具和可视化展示等；

2、为满足四经普业务工作需要，提供数据底册处理服务。包括前期普查清查、普查名录的整理，相关部门的数据清洗比对，以及后期普查名录资料与基本单位名录资料整理更新工作；

3、为进一步提高普查原始数据质量，满足市、区县和乡镇三级统计机构同步在线数据审核需求，提供普查数据处理报表审核、数据汇总和接口开发等技术服务。

二、建设内容

经济普查工作是在国家统计局直接指导下有步骤，有计划开展的，大致业务流程分为采集、传输、处理、管理（共享）和应用（分析）等过程。

普查基础信息数据管理系统包含数据管理和分析应用两个子系统，完成对数据的管理存储、并提供业务需要的专业数据分析工具、以及可视化展示系统和统计产品。

系统体系主要分为五层：

1、数据源层：本次普查，规模以上企业通过联网直报、规模以下企业和个体户使用手持移动采集终端进行数据采集，数据类型分为调查对象业务数据和记录采集过程相关数据。

2、数据获取层：将分布的数据抽取到临时中间层后进行清洗、转换、集成，最后加载到数据仓库或数据集市中，成为分析处理、数据挖掘的基础。

3、数据存储层：存储了经过清洗处理后的可用于系统的数据，该层直接面向应用系统，要求高可靠、高并发、高精度。

4、功能应用层：该层实现对数据的深加工，根据业务需要提供多个功能，包含即席查询、透视分析、电子表格、业务主题、数据挖掘。从生产数据集中挖掘出数据内在的价值，为业务系统提供数据和决策支持。

5、用户访问层：该层主要负责用户和最终数据处理结果的输出功能，提供数据展示和数据共享服务。

三、业务方案

Smartbi对本次底层物理表进行了语义建模，搭建8大业务主题，供工作人员构建自己的分析报表。

1、调查单位基本情况：国民经济行业的法人单位及所属产业活动单位，以及其他第三产业重点耗能法人单位的基本情况。

2、财务状况：分析企业一定时期内的经营成果和现金流量，了解国民经济的运行状况，满足财政、税务、工商、审计等部门监督企业经营管理，及时调整产业政策。

3、固定资产投资项目情况：计划总投资500万元及以上项目财务支出方案完成投资额(万元)、完成额及项目个数。

4、科技活动：调查企业办研发机构情况、研发产出及相关情况、研发人员情况、研发费用情况、研发资产情况。

5、从业人员及工资总额：综合分析各个地区、各个行业的人员分布及工资待遇情况，对不同地区和行业的从业人员及工资进行监控，为政府调控人力工资分配格局。

6、生产经营状况：分析企业的产品在商品市场上进行生产、销售和服务的发展现状，对企业的生产经营活动进行统计，及早发现问题，提高企业经营效益。

7、能源和水消费：综合能源消费量、能源生产销售与库存以及能源购进消费库存与加工利用转换。

8、信息化和电子商务：信息化情况以及电子商务交易情况。

四、项目价值

1、Smartbi帮助该省统计局建立了语义模型，方便业务人员自行拖动维度、指标进行数据统计分析；

2、搭建起了一整套大数据BI分析平台，各区县统计局、行业处室可以依托本平台进行后续人口普查、农业普查等统计工作；

3、制作的统一口径的四经普年鉴下发到各区县统计局和行业处室，减少了各区县和行业处室各自制作统计年鉴的重复工作量，提高了工作效率。

在当前大数据时代下，我们应该对于大数据技术进行合理的应用，并且围绕经济普查工作的开展需求和特点，引入性能更加强大的大数据分析平台，发挥技术优势，提升经济普查的开展效能，为下一阶段经济普查工作水平的提升和发展奠定坚实的技术基础。