Hive
关注
分享
扫一扫
Hive
萌萌哒的理工男
我谁也没等，谁也不会来
展开
-
Hive 简介 流程 架构
HiveApache Hive数据仓库软件可以使用SQL进编写和管理分布式存在系统中大型数据集,提供一个命令行工 具和JDBC驱动程序来连hive 官网:hive.apache.orgHive:是由Facebook开源用于解决海量结构化日志的数据分析统计工具ps:结构化通俗讲就是用行有列 --> 表 Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一...原创 2019-09-08 20:26:15 · 439 阅读 · 0 评论 -
Hadoop2.7+Mysql8.0下Hive2.3的安装
搭建准备：Hadoop2.7,hdfs全分布式搭建https://blog.51cto.com/12924846/2351478 Mysql8.0搭建https://blog.csdn.net/qq_38924171/article/details/99995856Hive的安装下载hive的tar包下载链接：http://hive.apache.org/downloads.htm...原创 2019-09-01 20:09:00 · 5888 阅读 · 4 评论 -
Hive命令行操作 hive2.3
前提准备：搭建Hive2.3 →hadoop2.7+Mysql8.0下Hive2.3的安装hive的基本命令行操作命令输入hive进入Hive的命令行客户端!!!!!hive里的所有命令，最后一定要加； !!!!!hive里的所有命令，最后一定要加； !!!!!hive里的所有命令，最后一定要加；对数据库的操作：1.显示数据库show data...原创 2019-09-02 12:02:58 · 1265 阅读 · 0 评论 -
hive hql 窗口函数 练习
窗口函数物理窗口真实往上下移动多少行rows betweenCURRENT ROW | UNBOUNDED PRECEDING | [num] PRECEDING AND UNBOUNDED FOLLOWING | [num] FOLLOWING| CURRENT ROW如: over(partition by col order by rows between 1 preceding ...原创 2019-09-21 09:48:21 · 1045 阅读 · 0 评论 -
hive hql 行列转换 练习
行列互换行转列使用 case when 查询出多列即可，即可增加列。列转行1、lateral view explode()使用炸裂函数可以将1列转成多行，被转换列适用于array、map等类型。 lateral view posexplode(数组)，如有排序需求，则需要索引。将数组炸开成两行(索引 , 值),需要 as 两个别名。2、case when 结合concat_ws与col...原创 2019-09-21 10:35:02 · 1176 阅读 · 0 评论 -
hive hql 时间函数 练习
时间函数常见函数from_unixtime(bigint unixtime,[string format]): 时间戳转日期函数，unix_timestamp([string date]): 转换成时间戳，然后转换格式为“yyyy-MM-dd HH:mm:ss“的日期到UNIX时间戳。如果转化失败，则返回0，返回bigint类型to_date(string timestamp): 将时间...原创 2019-09-21 10:47:46 · 2675 阅读 · 0 评论 -
hive hql 交差并集 练习
交差并集练习1、使用hive求出两个数据集的差集数据：t1表： id name1 zs 2 lst2表： id name1 zs 3 ww结果如下： id name 2 ls3 wwSELECT t1.id ,t1.name FROM t1 LEFT JOIN t2 ON t1.id = t2.id WHERE t2.id is null unio...原创 2019-09-21 11:02:22 · 2343 阅读 · 0 评论 -
hive hql 普通查询 练习
普通查询1、使用hive的hql查询用户所在部门dpt表dpt_id dpt_name1 产品2 技术user_dpt表user_id dpt_id1 12 13 24 25 3set hive.exec.mode.local.auto =false;selectuser_id,u.dpt_id,nvl(d.dpt_name,"其他部门")fromuse...原创 2019-09-21 14:18:27 · 541 阅读 · 0 评论