2017年05月_BabyFish13

12月 11月 10月 09月 08月 07月 06月 05月 04月 03月 02月 01月

原创 Python将Mysql分表数据按小时增量装载到Hive示例

1、Hive建存储在阿里云OSS上的外部目标表hive> show create table oss_live_history_status;OKCREATE EXTERNAL TABLE `oss_live_history_status`( `id` bigint, `room_id` bigint, `name` string, `live_id` string,

2017-05-26 11:32:37 951

原创 Hive汇总统计数据自动化传输到Mysql数据库

之前[Python将Hive汇总数据装载到Mysql]-->http://blog.csdn.net/babyfish13/article/details/68061213，针对具体情况，而不能工具化使用，本文则解决了工具化使用的问题。本代码实现了Hive数据汇总之后，直接在Mysql上建表并进行数据传输。其中，主要传输的参数有：mysqlConfig, srcSelectText, targ

2017-05-24 19:40:09 1244

原创 Hive行列转换-lateral view的使用

lateral view用于和split、explode等UDTF一起使用的，能将一行数据拆分成多行数据；在此基础上可以对拆分的数据进行聚合。lateral view首先为原始表的每行调用UDTF，UDTF会把一行拆分成一行或者多行，lateral view在把结果组合，产生一个支持别名表的虚拟表。1、Lateral View语法lateralView: LATERAL VIEW udtf

2017-05-19 14:22:08 1778

原创分别用Shell和Python遍历查询Hdfs文件路径

1、使用Shell/Users/nisj/PycharmProjects/BiDataProc/getOssFileForDemo/getHdfsFilePath.sh#!/usr/bin/env bashfor file_path in `hadoop dfs -ls /tmp/oss_access/ | awk -F ' ' '{print $8}' ` do

2017-05-11 16:51:03 6557

原创 Python获得24小时List的方法

1、直接列写字符串的方式hourList = ['00', '01', '02', '03', '04', '05', '06', '07', '08', '09', '10', '11', '12', '13', '14', '15', '16', '17', '18', '19', '20', '21', '22', '23']for ho

2017-05-10 16:21:56 3518

原创 Hive上计算两时点相差分钟数的方法

Hive比较特殊，计算两时间点相差分钟数据的方法是，先将两时间字符串转化成时间格式，然后两者相减，再分别将小时、分钟、秒换算成分钟。但是，计算两时间点相差的天数又比较简单，直接用datediff函数即可。以下为SQL示例：--1）4月29日0:00~5月1日23:59期间，单次直播“迷你世界”游戏超过4小时的主播。with tab_live_real as(select room_

2017-05-03 14:08:58 18587

有赞数据仓库元数据系统的演进（有赞Data沙龙）.pdf

有赞数据仓库元数据系统的演进

2021-01-18

DM数据仓库建模

数据仓库建模的有关说明详细的文档及解读的ppt

2019-03-22

NCR逻辑模型设计概览

逻辑模型设计方法论；一些数据仓库建模时的参考，方法等。主要用在数据仓库体系规划、架构设计方面的参考。

2018-01-31

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人