大数据平台架构:数据平台建设的几种方案

随着大数据在越来越多的企业当中落地,企业要开展大数据相关的业务,那么首先要搭建起自身的数据平台。而企业搭建大数据平台,往往需要结合成本、业务、人员等各方面的因素,来规划数据平台建设方案。今天我们就来聊聊数据平台建设的几种方案。

大数据平台架构

数据平台其实在企业当中一直都是存在的,但是进入到数据爆发式增长的大数据时代,传统的企业级数据库,在满足数据管理应用上,并不能完全满足各项需求。

对于企业而言,基于大数据背景下的企业数据管理应用,也需要更加符合需求的数据平台建设方案。

主流大数据平台建设方案

从市场主流选择来看,企业数据平台建设方案,目前大致有以下几种:

1、常规数据仓库

数据仓库的重点,是对数据进行整合,同时也是对业务逻辑的一个梳理。数据仓库虽然也可以打包成SAAS那种Cube一类的东西来提升数据的读取性能,但是数据仓库的作用,更多的是为了解决公司的业务问题。

2、敏捷型数据集市

数据集市也是常见的一种方案,底层的数据产品与分析层绑定,使得应用层可以直接对底层数据产品中的数据进行拖拽式分析。数据集市,主要的优势在于对业务数据进行简单的、快速的整合,实现敏捷建模,并且大幅提升数据的处理速度。

数据平台建设的几种方案

3、MPP(大规模并行处理)架构

进入大数据时代以来,传统的主机计算模式已经不能满足需求了,分布式存储和分布式计算才是王道。大家所熟悉的Hadoop MapReduce框架以及MPP计算框架,都是基于这一背景产生。

MPP架构的代表产品,就是Greenplum。Greenplum的数据库引擎是基于Postgresql的,并且通过Interconnnect神器实现了对同一个集群中多个Postgresql实例的高效协同和并行计算。

4、Hadoop分布式系统架构

当然,大规模分布式系统架构,Hadoop依然站在不可代替的关键位置上。雅虎、Facebook、百度、淘宝等国内外大企,最初都是基于Hadoop来展开的。

Hadoop生态体系庞大,企业基于Hadoop所能实现的需求,也不仅限于数据分析,也包括机器学习、数据挖掘、实时系统等。企业搭建大数据系统平台,Hadoop的大数据处理能力、高可靠性、高容错性、开源性以及低成本,都使得它成为首选。

大数据平台架构

关于大数据平台架构,数据平台建设的几种方案,以上就为大家做了一个简单的介绍了。企业基于大数据平台建设的需求,对于专业人才的需求度也正在增加,具备过硬技术实力的大数据人才,将受到更高程度的青睐。

  • 0
    点赞
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
大数据平台构思方案 (项目需求与技术方案) 一、项目背景 "十三五"期间,随着我国现代信息技术的蓬勃发展,信息化建设模式发生根本性转变,一 场以云计算、大数据、物联网、移动应用等技术为核心的"新 IT"浪潮风起云涌,信息化应用进入一个"新常态"。***(某政府部门)为积极应对"互联 网+"和大数据时代的机遇和挑战,适应全省经济社会发展与改革要求,大数据平台应运 而生。 大数据平台整合省社会经济发展资源,打造集数据采集、数据处理、监测管理、预 测预警、应急指挥、可视化平台于一体的大数据平台,以信息化提升数据化管理与服务 能力,及时准确掌握社会经济发展情况,做到"用数据说话、用数据管理、用数据决策、 用数据创新",牢牢把握社会经济发展主动权和话语权。 二、建设目标 大数据平台是顺应目前信息化技术水平发展、服务政府职能改革的架构平台。它的 主要目标是强化经济运行监测分析,实现企业信用社会化监督,建立规范化共建共享投 资项目管理体系,推进政务数据共享和业务协同,为决策提供及时、准确、可靠的信息 依据,提高政务工作的前瞻性和针对性,加大宏观调控力度,促进经济持续健康发展。 制定统一信息资源管理规范,拓宽数据获取渠道,整合业务信息系统数据、企业单位数 据和互联网抓取数据,构建汇聚式一体化数据库,为平台打下坚实稳固的数据基础。 梳理各相关系统数据资源的关联性,编制数据资源目录,建立信息资源交换管理标准体 系,在业务可行性的基础上,实现数据信息共享,推进信息公开,建立跨部门跨领域经 济形势分析制度。 在大数据分析监测基础上,为政府把握经济发展趋势、预见经济发展潜在问题、辅助经 济决策提供基础支撑。 三、建设原则 大数据平台以信息资源整合为重点,以大数据应用为核心,坚持"统筹规划、分步实 施,整合资源、协同共享,突出重点、注重实效,深化应用、创新驱动"的原则,全面提 升信息化建设水平,促进全省经济持续健康发展。 1、统筹规划、分步实施。结合我省经济发展与改革领域实际需求,明确总体目标和阶段 性任务,科学规划建设项目。先期完成大数据平台的整体架构建设,后期分步完成业务 系统的整合及相互间数据共享问题。 2、整合资源、协同共享。对信息资源统一梳理,建立经济发展与改革信息标准资源库和 数据规范,逐步消灭"信息孤岛",加快推进数据资源整合,建设共享共用的大数据中心 ,实现业务协同。 3、突出重点、注重实效。以用户为中心,以需求为导向,以服务为目的,突出重点,注 重实效,加强平台可用性和易用性。 4、深化应用、创新驱动。深入了解用户需求,密切跟踪信息技术发展趋势,不断深化应 用、拓展新技术在应用中的广度和深度,促进跨界融合,丰富管理和服务手段。 四、建设方案 为了保证项目的顺利进行和建设目标的可行性,我们采取如下几种建设方案。 1、数据采集方案。 我们统一信息资源标准规范,建立多维度数据库,拓宽数据来源,通过不同的 方式汇聚数据,增强分析力度,提高监测预警的准确性和时效性。 1. 预留接口,支持其它系统各种数据的上传导入处理。将现存有关经济运行业务系统中 的历史数据和时效数据,通过上传数据文件至服务器、分析提取有效数据导入服务 器数据库等方式采集起来,在本平台上复用。 2. 支持外接数据的上传导入处理。可以将企业单位或定点监测机构的数据通过同样的方 式采集起来,在本平台上复用。 3. 支持非结构化数据,即搜索引擎数据、社交媒体数据、地理空间数据和音视频数据等 等。 2、数据分析方案大数据之大并不是难点所在,其真正难以对付的挑战来自于数据类型多样、要 求及时响应和数据的不确定性,而我们所面临的也正是如此。 我们采用批量数据处理系统,借助于深度学习、知识计算和可视化等大数据分 析技术,通过对数据的批量处理挖掘其中的价值来支持决策和发现新的洞察。 3、业务整合方案。 在对社会发展相关业务子系统充分调研基础上,结合项目需求,可对其进行整 合或嵌入处理(本方案整合公共信用信息服务平台、投资项目信息管理平台等)。 1. 整合处理。将原有数据通过上传或导入方式进行采集,原有功能模块整合到本平台中 ,合二为一,完美的将数据汇聚起来。缺点是耗时较长。 2. 嵌入处理。以单点登录的方式将原有系统链接嵌入到本平台中,作为子系统单独存在 。缺点在于数据共享难以实现。 五、建设内容 1、宏观经济监测预测及可视化平台 政府信息化的最终目标是提高政府的决策水平,其中经济决策是核心内容。为了 提高宏观调控决策水平,我们必须从依靠传统统计数据向依靠互联网非统计数据转变 ,从监测预测宏观经济总量向监测预测宏观经济先行指标转变,从中长期监测预测向 实时监测预测转变。 宏观经济监测预测及可视化平台围绕网络搜索、社交媒体、电子商务、终端定位 和业务交易等五个方面全面整合互联网相关数据资源,建
大数据平台建设方案 (项目需求与技术方案) 一、项目背景 "十三五"期间,随着我国现代信息技术的蓬勃发展,信息化建设模式发生根本性转变,一 场以云计算、大数据、物联网、移动应用等技术为核心的"新 IT"浪潮风起云涌,信息化应用进入一个"新常态"。***(某政府部门)为积极应对"互联 网+"和大数据时代的机遇和挑战,适应全省经济社会发展与改革要求,大数据平台应运 而生。 大数据平台整合省社会经济发展资源,打造集数据采集、数据处理、监测管理、预 测预警、应急指挥、可视化平台于一体的大数据平台,以信息化提升数据化管理与服务 能力,及时准确掌握社会经济发展情况,做到"用数据说话、用数据管理、用数据决策、 用数据创新",牢牢把握社会经济发展主动权和话语权。 二、建设目标 大数据平台是顺应目前信息化技术水平发展、服务政府职能改革的架构平台.它的主 要目标是强化经济运行监测分析,实现企业信用社会化监督,建立规范化共建共享投资 项目管理体系,推进政务数据共享和业务协同,为决策提供及时、准确、可靠的信息依据 ,提高政务工作的前瞻性和针对性,加大宏观调控力度,促进经济持续健康发展。 制定统一信息资源管理规范,拓宽数据获取渠道,整合业务信息系统数据、企业单位数 据和互联网抓取数据,构建汇聚式一体化数据库,为平台打下坚实稳固的数据基础。 梳理各相关系统数据资源的关联性,编制数据资源目录,建立信息资源交换管理标准体系 ,在业务可行性的基础上,实现数据信息共享,推进信息公开,建立跨部门跨领域经济形 势分析制度。 在大数据分析监测基础上,为政府把握经济发展趋势、预见经济发展潜在问题、辅助经 济决策提供基础支撑. 三、建设原则 大数据平台以信息资源整合为重点,以大数据应用为核心,坚持"统筹规划、分步实 施,整合资源、协同共享,突出重点、注重实效,深化应用、创新驱动"的原则,全面提 升信息化建设水平,促进全省经济持续健康发展。 1、统筹规划、分步实施。结合我省经济发展与改革领域实际需求,明确总体目标和阶段 性任务,科学规划建设项目。先期完成大数据平台的整体架构建设,后期分步完成业务 系统的整合及相互间数据共享问题。 2、整合资源、协同共享。对信息资源统一梳理,建立经济发展与改革信息标准资源库和 数据规范,逐步消灭"信息孤岛",加快推进数据资源整合,建设共享共用的大数据中心, 实现业务协同。 3、突出重点、注重实效。以用户为中心,以需求为导向,以服务为目的,突出重点,注 重实效,加强平台可用性和易用性。 4、深化应用、创新驱动。深入了解用户需求,密切跟踪信息技术发展趋势,不断深化应 用、拓展新技术在应用中的广度和深度,促进跨界融合,丰富管理和服务手段。 四、建设方案 为了保证项目的顺利进行和建设目标的可行性,我们采取如下几种建设方案。 1、数据采集方案。 我们统一信息资源标准规范,建立多维度数据库,拓宽数据来源,通过不同的 方式汇聚数据,增强分析力度,提高监测预警的准确性和时效性. 1. 预留接口,支持其它系统各种数据的上传导入处理。将现存有关经济运行业务系统中 的历史数据和时效数据,通过上传数据文件至服务器、分析提取有效数据导入服务 器数据库等方式采集起来,在本平台上复用。 2. 支持外接数据的上传导入处理。可以将企业单位或定点监测机构的数据通过同样的方 式采集起来,在本平台上复用. 3. 支持非结构化数据,即搜索引擎数据、社交媒体数据、地理空间数据和音视频数据等等 。 2、数据分析方案. 大数据之大并不是难点所在,其真正难以对付的挑战来自于数据类型多样、要求 及时响应和数据的不确定性,而我们所面临的也正是如此。 我们采用批量数据处理系统,借助于深度学习、知识计算和可视化等大数据分 析技术,通过对数据的批量处理挖掘其中的价值来支持决策和发现新的洞察。 3、业务整合方案. 在对社会发展相关业务子系统充分调研基础上,结合项目需求,可对其进行整 合或嵌入处理(本方案整合公共信用信息服务平台、投资项目信息管理平台等)。 1. 整合处理。将原有数据通过上传或导入方式进行采集,原有功能模块整合到本平台中, 合二为一,完美的将数据汇聚起来。缺点是耗时较长。 2. 嵌入处理。以单点登录的方式将原有系统链接嵌入到本平台中,作为子系统单独存在 。缺点在于数据共享难以实现。 五、建设内容 1、宏观经济监测预测及可视化平台 政府信息化的最终目标是提高政府的决策水平,其中经济决策是核心内容。为了 提高宏观调控决策水平,我们必须从依靠传统统计数据向依靠互联网非统计数据转变 ,从监测预测宏观经济总量向监测预测宏观经济先行指标转变,从中长期监测预测向实 时监测预测转变。 宏观经济监测预测及可视化平台围绕网络搜索、社交媒体、电子商务、终端定位 和业务交易等五个方面全面整合互联网相关数据资源,建
大数据平台架构和BI(Business Intelligence)架构是两个不同但相互关联的概念。 大数据平台架构是指用于处理和存储大数据的技术框架和组件的集合。它通常由各种组件组成,包括数据采集、数据存储、数据处理和数据分析等。大数据平台架构的目标是提供高性能、可扩展和可靠的基础设施,以支持大规模数据的处理和分析。 BI架构是指用于构建和管理企业的商业智能解决方案的技术架构。它包括数据仓库、数据集成、报表和可视化工具等组件。BI架构的目标是将企业内部和外部的数据整合起来,提供实时、准确和可视化的数据分析结果,帮助企业做出更明智的决策。 大数据平台架构和BI架构之间存在紧密的关系。大数据平台提供了强大的数据处理和存储能力,可以处理大量的结构化和非结构化数据。BI架构则利用大数据平台提供的数据,进行数据整合、清洗、转换和分析,将结果可视化呈现给用户。通过整合大数据平台和BI架构,企业可以更好地利用大数据资源,提高数据分析的效率和准确性,从而更好地支持决策制定和业务优化。 总而言之,大数据平台架构和BI架构相互补充,共同构建了一个完整的数据分析和决策支持系统。大数据平台提供了数据处理和存储的基础设施,而BI架构则利用大数据平台提供的数据进行分析和可视化展示。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值