大数据项目实施
资深数据库专家
从事银行信息安全和数据开发10年经验。致敬所有技术宅。
展开
-
大数据项目实施案例
第一、项目目标将超过30个核心系统数据,实施同步复制,统一集中到大数据平台。1)将数据实施同步,数据量很大。---数据比较复杂2)数据复制的实时性、准确性3)复制数据需要增加标签(操作时间、操作类型、操作人等),便于后端识别数据。4)如何抽取数据,减轻对生产库的影响。如视图、临时表、dg库等手段。5)如何更好的适配后端应用,保证数据规格灵活,预留字段充足。可以考虑建立编...原创 2018-12-24 17:42:34 · 14144 阅读 · 1 评论 -
数据仓库技术完成的功能
数据仓库技术:主要是将各个生产系统的数据,根据约定的数据规格(需要有10年左右的扩展性)汇总到一个平台。亦成为数据处理中心、中央存储。同时根据需要,需要支持从其他数据市场(数据集市)获取数据。保证数据储备的充足性。数据仓库的数据:1)管理需求:系统管理员需要监控硬件、软件资源。 仓库功能管理员需要完成仓库的系统稳定。2)根据角色,操作员、业务主管需要预处理应用中的数据,特别是需要支...原创 2018-12-24 18:05:36 · 446 阅读 · 0 评论 -
hadodop之hive 第一章 hive原理及如何使用Mysql作为hive的metastore元数据库
hive是什么?体系结构简洁 Hive的安装与管理 HiveQL 数据类型,表以及表的擦欧洲哦 HiveQL 查询数据 Hive Java客户端 Hive的自定义函数 UDF --- 加深拓展 hive是facebook 应用的。 1、Hive 建立在Hadoop上的数据仓库基础架构。是一种可以存储、查询和分析存储在hadoop中的 大规模数据...原创 2019-06-16 19:42:04 · 255 阅读 · 0 评论