数据仓库与BI
afunyusong
喜欢吹着春风,追着云
展开
-
SQL学习
W3C SQL教程wepon SQL小结GROUP BYOracle中decode 函数用法SQL执行顺序转载 2017-07-20 09:38:47 · 185 阅读 · 0 评论 -
Sqoop2 Hue 使用
如果使用 CDH parcel 安装的Sqoop2 的话,JDBC 的驱动包应该放在 /var/lib/sqoop2 下面, 新建 Oracle Link ,JDBC Driver Classoracle.jdbc.driver.OracleDriverJDBC Connection String 如下格式:jdbc:oracle:thin:@localhost:1521:app原创 2018-01-11 15:02:22 · 1112 阅读 · 0 评论 -
Sqoop2 使用
Sqoop2的安装与使用使用Sqoop从MySQL导入数据到Hive和HBase 及近期感悟Sqoop User Guide 问题1: java.lang.NoClassDefFoundError: org/codehaus/jackson/map/JsonMappingException 解决办法:cd /opt/cloudera/parcels/CDH/lib/hadoop/原创 2018-01-12 11:47:59 · 713 阅读 · 0 评论 -
数据仓库基本知识和概念
数据仓库数据库 与 数据仓库的本质区别是什么?11 个我遵循的重要数据库设计原则No.18【漫谈数据仓库】 如何优雅地设计数据分层转载 2018-01-10 09:46:07 · 535 阅读 · 0 评论 -
Kettle 相关知识
关于Kettle的事务和转换内步骤的顺序执行 1、一个作业内的转换,是顺序执行的。 2、一个转换内的步骤是并行执行的。 Kettle Hop小记开源ETL工具Kettle初试–远程执行任务Kettle从零开始 第九弹之Kettle定时任务介绍第三弹之Kettle数据源连接配置Linux CronTab 定时任务转载 2018-01-10 09:54:07 · 414 阅读 · 0 评论 -
Sqoop1 详细使用和避坑指南
经过这么几天的折腾,发现 Sqoop1 真的比 Sqoop2 方便好用的多,Sqoop2 坑真是太多了,搞不定。Sqoop1 坑少也稳定,但是零基础使用过程中也是有几点需要注意的。官方下载:Sqoop 官网 官方使用文档 Sqoop-1.4.6安装部署及详细使用介绍 如果像我一样直接用CDH里边自带的话,方便的地方是环境变量什么的不需要我再去配置了,很方便。 要检查安装成功没,直接 s原创 2018-01-15 15:40:53 · 16482 阅读 · 4 评论 -
Hive 相关知识
hive sqlHive 中文教程Hive学习之创建、删除、Truncate表hive 创建/删除/截断 表Hive通过查询语句向表中插入数据过程中发现的坑How to load String format timestamp value to hive table?Hive学习路线图转载 2018-01-10 10:02:02 · 595 阅读 · 0 评论 -
Presto 相关知识
Presto常用语句整理Presto 文档转载 2018-01-10 10:04:18 · 293 阅读 · 0 评论 -
Superset 相关知识
使用开源数据 BI 工具 Superset 对 Hive 仓储数据进行可视化分析Engine Configuration转载 2018-01-10 10:06:35 · 708 阅读 · 0 评论 -
大数据平台建设
数据分析平台架构和Hive实践大数据平台技术方案及案例漫谈大数据仓库与挖掘系统:数据的传输和同步Hadoop生态圈介绍如何创建一个大数据平台?具体的步骤转载 2018-01-10 10:11:51 · 4459 阅读 · 0 评论 -
Superset 连接 Presto 的正确姿势
不正确姿势在SqlLab中会出现如下问题:argument of type 'NoneType' is not iterable正确姿势是:presto://hive@localhost:port/presto_catalog_name>/hive_db_name>前边都好理解,最主要是后边两个参数,presto_catalog_name 和 hive_db_nameh原创 2017-12-26 10:41:00 · 5030 阅读 · 2 评论 -
Hue + Oozie + Sqoop 使用
有个刚接触的人不知道的是,Oozie 自带 sqoop、hive 等常用组件,比如执行sqoop脚本命令时,并不是你主机里或者CDH里的的sqoop,而是 HDFS 下 Oozie 里的 sqoop 在起作用,这也是为什么 总是报 Could not load db driver class 的原因了,因为根本不是同一个sqoop。还有 Hue 里的 Sqoop 1,你在这里写的脚本,执行时实原创 2018-01-26 10:18:36 · 5837 阅读 · 5 评论 -
Hive 解决 comment 中文乱码
当hive使用mysql作为元数据库的时候mysql的字符集要设置成latin1 default。alter database hive character set latin1;为了保存那些utf8的中文,要将mysql中存储注释的那几个字段的字符集单独修改为utf8。 修改字段注释字符集alter table COLUMNS_V2 modify column COMMENT varchar(2转载 2017-12-18 17:20:43 · 2222 阅读 · 1 评论 -
Kettle 学习
组件之间的连线-Hop小记转载 2017-12-18 17:18:42 · 191 阅读 · 0 评论 -
MySQL基础知识
MySQL转载 2017-11-17 09:22:20 · 164 阅读 · 0 评论 -
Kettle 连接hive2
Data Integration (kettle) 7.0 连接Hivekettle 5.1.0 连接 Hadoop hive 2 (hive 1.2.1)转载 2017-11-17 16:31:02 · 2718 阅读 · 0 评论 -
Hive Metastore 和hive-server2配置
官方文档配置 Hive MetastoreHive metastore三种配置方式Hive metastore配置执行 hive –service metastore 时,遇见 异常如下, java.sql.SQLException: Column name pattern can not be NULL or empty. 解决方法:stackoverflowStarting, Stoppin转载 2017-11-17 12:57:52 · 1145 阅读 · 0 评论 -
查看当前用户运行的java进程及端口:jps 命令
jps可以通过 kill + 「进程pid」的方式杀死某一进程转载 2017-11-18 15:37:52 · 14219 阅读 · 0 评论 -
Mac brew install hadoop 出现 not linked
问题初始是:导致后边hadoop不能用~ ᐅ brew install hadoopUpdating Homebrew...Warning: hadoop 2.8.1 is already installed, it's just not linked.You can use `brew link hadoop` to link this version.接着按提示执行出现:~ ᐅ brew原创 2017-11-15 10:58:42 · 2453 阅读 · 0 评论 -
Superset 通过 Presto 连接 HDFS
presto maven 仓库下载地址英文 presto 安装配置中文 presto 安装配置presto 快速指南presto集群安装&整合hive|mysql|jdbc转载 2017-11-18 15:32:01 · 2605 阅读 · 0 评论 -
Ubuntu 下 Hadoop/Hive 环境搭建
最好看官方文档,看官方文档是一定没有错的。市面上的很多文章实际都过时了,太坑了,都不一样了。 Hive 官方指导文档Mac OS X 10.10 运用 Homebrew安装Hadoop 2.7.1Ubantu 下 Hadoop/Hive 安装 和 基本使用文档转载 2017-11-16 15:34:35 · 386 阅读 · 0 评论 -
CDH5 安装
CDH大数据平台搭建终极版CDH-5.12.0分布式集群的离线部署转载 2017-12-01 17:22:48 · 228 阅读 · 0 评论 -
Hue 安装配置
How to configure Hue for your Hadoop clusterHue的安装与部署高可用Hadoop平台-Hue In HadoopHue安装配置实践Hue介绍入门–Hadoop可视化分析利转载 2017-11-28 09:34:05 · 231 阅读 · 0 评论 -
Linux Kettle 定时执行远程资源库 job
以下仅是我根据我公司实际情况做出的配置设计,不代表所有,仅供参考。硬件:一台Mac Pro(A),两台 Ubuntu 服务器(B和C)角色分配: A : 在我的Mac Pro上 使用 Kettle UI客户端 设计调试 转换 和 作业,调试完成后保存到远程资源库(在B上使用MySQL数据库来保存) B : 建立 MySQL 数据库保存调试好的 转换 和 作业 C : 安装 Kettle (别忘原创 2017-12-29 12:23:27 · 5111 阅读 · 1 评论 -
数据仓库分层
大数据环境下该如何优雅地设计数据分层转载 2017-12-18 16:25:43 · 322 阅读 · 0 评论