- 博客(7)
- 收藏
- 关注
RSS订阅原创 千亿级数仓项目第二章(Kettle)
Kettle介绍对于企业或行业应用来说，经常会遇到各种数据的处理，转换，迁移，掌握一种etl工具的使用，必不可少，这里要学习的ETL工具是——Kettle，现在已经更名为PDI。Kettle是一款国外开源的ETL工具，纯java编写，可以在Window、Linux、Unix上运行，绿色无需安装Kettle 中文名称叫水壶，该项目的主程序员MATT 希望把各种数据放到一个壶里，然后以一种指定的格式流出Kettle允许管理来自不同数据库的数据，提供一个图形化的用户环境来描述想做什么，无需关心怎么做。
2020-05-28 17:44:55
1118
原创 千亿级数仓项目第一章
千亿级数仓项目总体介绍数仓： 数据仓库 数据集市阶段一项目背景介绍阶段二准备数据（Mysql->Hive）Kettlesqoop阶段三数据仓库理论+实战阶段四编写SQL实现以下业务分析，并按照数据仓库结构存出结果基于日期的订单指标分析(4)基于地域的订单分类指标分析(18)基于用户的订单指标分析(24)基于用户的退货指标分析(5)阶段五使用kylin对结果数据进行预计算阶段六点击流分析阶段一了解大数据离线数仓架构了解项目部署环境（数据规模和集群规模）
2020-05-28 08:33:07
405
原创 kylin的安装步骤
准备软件包链接: https://pan.baidu.com/s/16vDgp0H5gat_OZVUiqyExA 提取码: mbh9先安装hbase1.1.1准备依赖的Hbase1.1.1说明：Hbase 1.1.1只在一个节点安装。修改hbase-env.sh 添加JAVA_HOME环境变量export JAVA_HOME=/export/servers/jdk1.8.0_141/export HBASE_MANAGES_ZK=false修改hbase-site.xm
2020-05-20 09:14:56
1503
原创 kylin的基本介绍
Kylin简介Kylin-中国团队研发的，是第一个真正由中国人自己主导、从零开始、自主研发、并成为Apache顶级开源项目Kylin的定位：对数据进行预计算/预处理，主要出现在辅助Hive组件（查询效率比较慢），提高查询效率。Hive的性能比较慢，支持SQL，HBase的性能快，原生不支持SQL。 Kylin是将先将数据进行预处理，将预处理的结果放在HBase中。效率很高（将hive和hbase两个技术的优点结合到一起使用场景用Hive将HDFS文件数据以关系数据方式存取，数据量巨大，每天有数G甚
2020-05-20 08:41:16
1026
原创 拉链表的练习题
需求：在mysql数据库中有一个人员信息表（userinfo）数据字段如下：在Mysql中的建表语句为：– 创建数据库create database if not exists exam;– 创建人员表create table if not exists exam.userinfo(user_id varchar(50), – 人员编号phone_number varcha...
2020-05-08 12:46:51
2417
原创 kettle练习题
练习题解题过程上传百度云：链接: https://pan.baidu.com/s/1JgOiKtpJGlU5Z9-ia5sE3A 提取码: ujtj1.将station.csv转化成excel2.将student.json转化为excel3.将student.json转化为文本4.将student.json插入到mysql的student表中5.把student1的数据按i...
2020-05-03 15:56:29
5901
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人