[数据仓库]Kettle输出步骤

一、概述   数据库表:     • 表输出     • 更新,删除,插入/更新     • 批量加载(mysql,oracle)     • 数据同步   文件:     • SQL 文件输出     • 文本文件输出     • XML 输出     • Excel Output/Excel...

2018-09-28 12:26:46

阅读数 210

评论数 0

[数据仓库]kettle——入门操作(文本文件输入流)

 文本文件有文件、内容、错误处理、过滤、字段和Additional output fields等几个页签,主要说一下内容和过滤两个页签。   内容,如下            1)文件类型,保持默认csv即可       2)分隔符:指的是文本文件每个字段间的分区标志,如下       ...

2018-09-27 22:44:35

阅读数 778

评论数 0

[数据仓库]hive常用函数之条件判断函数IF,COALESCE,CASE

1.If函数:if和case差不多,都是处理单个列的查询结果 语法: if(boolean testCondition, T valueTrue, T valueFalseOrNull) 返回值: T 说明:  当条件testCondition为TRUE时,返回valueTrue;否则返回v...

2018-09-26 21:42:58

阅读数 162

评论数 0

[数据仓库]电商核心业务知识之订单商品模块

电商核心业务知识 订单商品模块(9张表) --订单主要信息表 drop table if exists itqsc.ods_b2c_orders; create external table itqsc.ods_b2c_orders ( order_id  bigint, -订单ID(主键) or...

2018-09-26 18:19:31

阅读数 672

评论数 1

[数据仓库]Hive2.0函数大全(中文版)

摘要 Hive内部提供了很多函数给开发者使用,包括数学函数,类型转换函数,条件函数,字符函数,聚合函数,表生成函数等等,这些函数都统称为内置函数。 目录 数学函数 集合函数 类型转换函数 日期函数 条件函数 字符函数 聚合函数 表生成函数     数学函数 Ret...

2018-09-26 17:34:24

阅读数 163

评论数 0

[数据仓库]基础理论笔记

第一节 互联网电商大数据环境 如果你真正进入这个行业了! 入职后你所在部门一般叫:数据平台、数据中心、数据部 可能的团队:数据仓库组;BI(商业智能)组、某事业部数据组;架构组;数据专家组;... 部门里重要的几拨人,一拨是搭建和保证hadoop系统每天正常运行和改进hadoop系统的架构人员,这...

2018-09-26 08:33:21

阅读数 112

评论数 0

[数据仓库]维度建模基础理论

1.事实表 2.维度表 3.模型 4.粒度 5.层次

2018-09-26 08:31:40

阅读数 149

评论数 0

[数据仓库]事实表

事实表分成三种:事务事实表、周期快照事实表、累计快照事实表 事务事实表 官方定义是:发生在某个时间点上的一个事件。比如以订单为例:下单是一个事实、付款是一个事实、退款是一个事实,所有事实的累计就是事务事实表 周期快照事实表 如果需要对某一天或者某个月的数据进行分析,那么可以使用周期快照事实...

2018-09-26 08:27:40

阅读数 1084

评论数 0

[数据仓库]BI开发之——ETL注意细节

ETL是数据抽取(Extract)、清洗(Cleaning)、转换(Transform)、装载(Load)的过程。是构建数据仓库的重要一环,用户从数据源抽取出所需的数据,经过数据清洗,最终按照预先定义好的数据仓库模型,将数据加载到数据仓库中去。     ETL是将业务系统的数据经过抽取、清洗转换...

2018-09-26 08:25:05

阅读数 503

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭