MaxCompute
大数据小阿姨
意识 判断选择力 相信 行动
认知过程 发现 分类 织网
展开
-
ODPS_数据倾斜查看key分布的通用方案_200628
产生数据倾斜的通用方案知道数据倾斜了,但无法获知数据倾斜的key信息,可以使用以下方法查看数据倾斜。假如select * from tba join tbb on tba.id=tbb.id; 产生了数据倾斜可以执行如下语句来查看key的分布:select left.key,left.cnt*right.cnt from(select key,count(*) as cnt from tba group by key) as left join(select key,count(*) as c原创 2020-06-28 23:31:29 · 404 阅读 · 0 评论 -
SQL_ODPS-D2-离线数仓-7-临时查询
SQL_ODPS-D2-离线数仓-7-临时查询包括ods dwd dws ads数仓的建表语句 以及 手动导入数据语句test--odps sql --********************************************************************----author:i--create time:0000-00-00 00:00:00--**...原创 2020-03-18 00:05:45 · 492 阅读 · 0 评论 -
img_ODPS-D2-离线数仓-6
img_ODPS-D2-离线数仓-6纪念一下,全部跑通的一天。原创 2020-03-17 23:49:14 · 231 阅读 · 0 评论 -
SQL_ODPS-D2-离线数仓-5-开窗函数在sql中的实际应用
SQL_ODPS-D2-离线数仓-5-开窗函数在sql中的实际应用.md--手动将dwd层数据导入到dws层INSERT OVERWRITE TABLE dws_uv_detail_d PARTITION (ds,hh,mm)SELECT mid, user_id, version_code, version_name, lang, sourc...原创 2020-03-08 23:33:28 · 372 阅读 · 1 评论 -
Java_ODPS-D2-离线数仓-4-自定义函数UDTF,一进多出,处理复杂事件json串
Java_ODPS-D2-离线数仓-4-自定义函数UDTF,一进多出,处理复杂事件json串原始数据和结果都自行想象吧 或者 翻翻笔记p89 p92FuntionStudio新建一个项目gmall_udtf,运行环境选udfjava新建一个FlatEventUDTFpom.xml中加入fastjson依赖 <dependency> <gr...原创 2020-03-08 03:07:07 · 709 阅读 · 0 评论 -
Linux_ODPS-D2-离线数仓-3-启动flume,运行jar包
Linux_ODPS-D2-3-启动flume,运行jar包1. 启动flume程序[root@hadoop102 ~]# su ataliyun[ataliyun@hadoop102 ~]# /opt/module/flume/bin/flume-ng agent -n a1 -c /opt/module/flume/conf/ -f /opt/module/flume/conf/file...原创 2020-03-08 01:44:23 · 336 阅读 · 0 评论 -
Java_ODPS-D2-1-离线数仓-日志数据样本
Java_ODPS-D2-离线数仓-1.0191129版(一)样本日志数据 ,java模拟产生这里四五条0000-00-00 00:00:44.587 [main] INFO com.ataliyun.appclient.AppMain - 1583074424587|{"cm":{"ln":"-97.2","sv":"V2.7.3","os":"8.1.8","g":"71F54L6Y...原创 2020-03-02 01:15:48 · 183 阅读 · 0 评论 -
SQL_ODPS-MaxCompute-odpscmd-tunnel-数据上传下载
SQL_ODPS-MaxCompute-odpscmd-tunnel-数据上传下载1. rd行分割 -fd列分割 -charset编码--建临时表odps@ work_test_1>create table if not exists t_rd_fd(id int,name string);--源数据data_t_rd_fd.txt--666$$张三||555$$李四||--...原创 2020-02-21 00:09:05 · 1457 阅读 · 0 评论 -
SQL_ODPS-MaxCompute-odpscmd-1.0
dSQL_ODPS-MaxCompute-odpscmd-1.0注:这篇每块代码按顺序操作 每块可按顺序看目的:熟悉一下日志(一)简单的语句操作普通表--复制表结构odps@ work_test_1>create table t_denile_2 like t_deniel;ID = 000000001447167gm4yr392OK-- 修改表名odps@ work...原创 2020-02-20 12:35:08 · 656 阅读 · 0 评论