![](https://img-blog.csdnimg.cn/20201014180756916.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
CSDNGYB
这个作者很懒,什么都没留下…
展开
-
aliyun_odps数仓常用命令总结
odps_cmd 用户和权限管理------------- 向项目空间中添加用户:add user username;eg:add user admin@gyb.com 查看用户:list users; 删除用户:remove user username; 授限:向user_name授予名为user_project_name的project的createTable创建表权限 g...原创 2019-10-10 17:10:54 · 1762 阅读 · 0 评论 -
odps窗口函数
统计量:count,sum,avg,max/min,median,stddev,stddev_samp排名:row_unmber,rank,dense_rank,percent_rank其他类:lag,lead,cluster_sample--------------------基本用法;把数据按照一定条件分成多组称为开窗,每个组称为一个窗口partition by部分用来指定开窗的列...原创 2019-10-10 17:12:48 · 3008 阅读 · 0 评论 -
mapreduc原理
MAP阶段: 执行map前需要将数据进行分片(将输入数据切分成大小相同的数据块),没一块作为单个mapworker的输入被处理,以便于多个map worker同时工作;分片完成后。多个map worker就可以同时工作,每个map worker在读取各自的数据后,进行计算处理,最终输出给reduceShuffle阶段(合并排序和分配reduce): map worker在输出数据时...原创 2019-10-10 17:26:46 · 503 阅读 · 0 评论 -
linux上flink集群搭建及其本地跑java测试flink
linux上flink集群搭建下载安装flink:上传压缩包:flink-1.7.2-bin-scala_2.12.tgz解压:tar -zxvf /flink-1.7.2-bin-scala_2.12.tgz -C ../hone复制解压文件到子节点:scp -r /home/flink-1.7.2/ root@slave1:/home/scp -r /home/flink-1.7...原创 2019-10-10 17:35:36 · 807 阅读 · 0 评论 -
hive总结
基础命令: 查看数据库:show databases; 创建数据库:create database human_resource; 当数据库太多时,用正则表达式匹配来帅选需要的数据库名:show databases like 'h.*'; 删除数据库:drop database if exists 数据库名称; 建表:create table if not exists mydb.e...原创 2019-10-10 17:43:02 · 158 阅读 · 0 评论