数据
数据仓库,数据采集,数据ETL,数据应用
数据仓库,数据采集,数据ETL,数据应用
数据仓库,数据采集,数据ETL,数据应用
数据仓库,数据采集,数据ETL,数据应用
数据仓库,数据采集,数据ETL,数据应用
数据仓库,数据采集,数据ETL,数据应用
数据仓库,数据采集,数据ETL,数据应用
数据仓
leaders_forerver
认真的态度,分享的心情,带给你实用的技巧,携手走得更远。
展开
-
mysql数据迁移
mysql原创 2021-12-28 13:47:12 · 574 阅读 · 0 评论 -
oracle数据迁移方案
背景: 偏僻字,中文. 符号 采用:SIMPLIFIED CHINESE_CHINA.AL32UTF8 可以正常显示源数据库(ZHS16GBK) -----> 目标数据库(AL32UTF8)前提: 创建目标数据库 eg:te 该数据库需与源数据库名字对应,默认表空间,临时表空间,用户, 用户权限对应。(1)create tablespace TS_XZ datafile '.dbf' size 800M autoextend on maxsize unl...原创 2020-11-14 11:15:59 · 462 阅读 · 0 评论 -
kettle 技术调研
适用场景1.ETL(抽取,转换,加载)2.BI(商务智能)3.DW(数据仓库)基本理论,核心概念Etl三个最主要步骤:“抽取”:将数据从各种原始的业务系统中读取出来,这是所有工作的前提。csv,table,json,xml“转换”:按照预先设计好的规则将抽取的数据进行转换,使本来异构的数据格式能统一起来。“装载”:将...原创 2020-06-02 11:48:40 · 344 阅读 · 0 评论 -
主数据治理
重点解决:异构系统之间关键数据的不一致,不正确,不完整等问题。 主数据实施: 1.梳理和识别主数据 2. 确定实施优先级 3. 标准化处理 4.完成主数据的整理,清洗,整合和集成 主数据三大特征: 1.高价值...原创 2020-05-15 15:08:08 · 861 阅读 · 0 评论 -
数据基本概念
信息: 存在方式,运动状态 数据: 符号表示 知识: 从数据中获得的有益信息 数据元: 用一组属性描述定义,标识,表示和允许值的数据单元 组成实体数据的最小单元。 元数据: 描述数据的数据或关于数据的结构化数据 数据项: 具有独立含义的最小标识单位 主数据: ...原创 2020-04-27 16:16:46 · 1826 阅读 · 0 评论 -
storm之流式计算
1.Storm是什么,为什么?Apache Storm是一个免费的开源分布式实时计算系统。---可靠,容错,实时,开源免费,可扩展,事务性。适用场景实时分析,在线机器学习,连续计算,分布式rpc,etlTopoSpout,bolt,TopologyBuilder 注意事项spout初始化在open 方法中完成 Bolt初始化在prepare方法中完成 Spout ---》 bolt ---》bolt 层数不宜太多 TOPOLOGY_MESS...原创 2020-05-10 17:18:16 · 161 阅读 · 0 评论