hadloop大数据平台论文_大数据平台建设探讨

2019.03

1

概述

大数据平台通过统一的

大数据库实现全省业务信息

的集中

，

该库数据来源于全省各个业务系统和基础数据

库等应用数据

、

位置数据

、

搜索数据等结构化数据

、

半

结构化数据

、

非结构化数据

，

通过数据采集管理平台从

相关系统中获取

；

其次是建立大数据库管理系统对大数

据库进行管理

，

由接口服务

、

数据指

标

管

理

、

数

据

维

护管理

、

数据查询比对核查等功能构成

；

第

三

是

建

立

数据利用应用综合分析系统

，

为业务部门提供数据分析

支撑

。

2

大数据

平台功能构成

大数据平台功能主

要

包

括

3

个

部

分

：

数

据

采

集

汇

总

、

数据校验入库和数据应用服务环境

。

建立原始数据

库

，

从业务系统中抽取源数据

，

通过数据校验入库后进

入到大数据库

。

原始数据库的存储方式是以多用户方式

存储

，

当原始数据库的数据经过校验后

，

正确数据进入

大数据库

，

异常数据在原始数据库中记录

，

并反馈给源

数据系统

，

要求源数据系统进行确认整改

。

原始数据库

的数据将按照社保法的相关规定长期保存

。

建立综合分

析库用于支持数据多维分析利用

。

按照设计好的数据分

析模型

，

基于大数据库

，

建立综合分析并实现多维度数

据分析

、

统计

、

比对

、

旋转

、

切

割

、

合

并

、

下

钻

、

上

卷

，

并实现图形化操作

。

数据服务是指根据具体的业务

应用需求

，

从大数据库中抽取相应的数据作为应用的源

数据

。

3

技术架

构

技术架构包括技术实

现和技术组件

。

整个系统由终

端接入层

、

应用服务层

、

应用支撑层

、

数据资源层

、

基

础设施层组成

。

(

1

)

终

端接入层

终端接入层实现

PC

、

手

机

、

自助终端

、

各个系统

应用接口对大数据的接入服务

。

(

2

)

业

务服务层

业务服务层主要提供基于大数据的数据服务

，

供各

个业务部门根据自己的需求开展数据利用

。

(

3

)

应

用支撑层

应用支撑层为系统应用服务的开展提供丰富的应用

支撑

，

包括数据采集管理平台和大数据管理系统

。

(

4

)

平

台支撑层

平台支撑层为整个系统的运行

提

供

平

台

级

技

术

支

撑

，

包括应用集成交互和应用运行管理

。

(

5

)

数

据资源层

数据资源层提供本项目人社业务数据资源

，

包括全

省各个业务系统

、

各个公共服务系统

、

基础库等

。

(

6

)

基

础设施层

基础设施是整个系统的物理基础

，

为系统的运行提

供环境支持

。

可基于云计算相关技术进行基础设施层的

搭建

。

在省级集中不断推进的过程中

，

大数据库将存在指

标扩展

、

系统功能扩展

，

以满足不断往省级集中的业务

和系统的需要

。

因此大数据库的可扩展性设计显得尤为

重要

，

它关系到大数据库的持续使用和广泛应用

，

本方

案将从以下几个方面考虑

：

(

1

)

在进行数据库

结构设计时充分考虑扩展性

。

一

个设计良好的数据库结构应该有一个预定义好的框架

，

使得已有的特性可以被很容易地修改

，

而新的特性又可

以很容易地被加入

，

并且不会对应用系统的其他部分产

生副作用

。

在数据库结构设计中

，

充分考虑到省级集中

大数据平台建设探讨

罗杰

(

四川省人力资源和社会保障信息中心，成都

610041

)

摘

要

：

按照

“

统一采集

、

统一管理

、

统一交换

、

共建共

享

、

急用为先

”

的原则，建立数据采集机制实

现各业务系统数据的统一存储，建成大数据库，基于该大数据库，构建分析模型，开发面向各业务的

分析系统和综合分析系统，为业务部门的应用提供数据支持

。

关

键词

：

大数据；

平台；管理

收稿日期：