大数据学习之路
qianchang_na
向各位大佬学习
展开
-
flume的安装
1、下载:链接:https://pan.baidu.com/s/14lJ93SgNWGvnS2wv78UJfQ提取码:m2e62、解压缩:1.解压到 /usr/local下tar zvxf apache-flume-1.6.0-bin.tar.gz /usr/local/2.修改文件名cd /usr/localmv apache-flume-1.6.0-bin flume-1.6...原创 2019-09-18 21:56:56 · 144 阅读 · 0 评论 -
虚拟机时间同步
1.与阿里云时间同步(1)安装ntp服务 yum list | grep ntpyum install -y ntp.x86_64(2)时间服务器 ntpdate ntpl.aliyun.com2.集群内时间同步(1)配置时间服务器,集群的其他机器都跟hadoop05所在机器同步时间服务器上需要安装ntp服务同步机器上只要安装ntpdateyum list | grep ntp...原创 2019-09-17 21:47:18 · 2239 阅读 · 2 评论 -
hive 使用hive的hql实现男女各自第一名及其它
hive场景题1.窗口函数1.1 编写sql实现每个用户截止到每月为止的最大单月访问次数和累 计到该月的总访问次数userid,month,visitsA,2015-01,5A,2015-01,15B,2015-01,5A,2015-01,8B,2015-01,25A,2015-01,5A,2015-02,4A,2015-02,6B,2015-02,10B,2015-02...原创 2019-09-21 19:48:32 · 489 阅读 · 0 评论 -
hive场景题之行列转换
2.行列转换行转列:1、使用case when 查询出多列即可,即可增加列。列转行:1、lateral view explode(),使用炸裂函数可以将1列转成多行,被转换列适用于array、map等类型。lateral view posexplode(数组),如有排序需求,则需要索引。将数组炸开成两行(索引 , 值),需要as 两个别名。2、case when 结合concat_...原创 2019-09-22 21:16:11 · 804 阅读 · 0 评论