hive
文章平均质量分 61
cc抱富
天下熙熙,皆为利来;天下攘攘,皆为利往
展开
-
Hue如何上传本地excel到hive
1、处理本地数据将excel转为csv格式,并将列名删除,只保留数据2、在HDFS上创建文件夹,并上传本地数据3、在hive中建表CREATE EXTERNAL TABLE `abc.info`( `a` string COMMENT 'ID', `b` string COMMENT '名称', `c` string COMMENT '需求' )row format delimited fields terminated by ',' stored as textfi原创 2021-09-27 14:44:35 · 1431 阅读 · 0 评论 -
hiveSQL优化技巧-待完善
一、去重效率优化尽量使用group by分组来去重,其效率高于distinct涉及统计数量时,可使用先group by在使用count(user_name),而不是直接count(distinct user_name)二、聚合技巧应用1、grouping sets,同时对不同类别分组如要用户的性别分布、城市分布、等级分布,以前的写法要分别写三个sql执行3次grouping sets可...原创 2020-04-01 16:14:03 · 446 阅读 · 0 评论 -
hiveSQL基本语句四----各种窗口函数
一、累计计算1、sum(…) over(…)原创 2020-03-01 23:56:23 · 850 阅读 · 0 评论 -
hiveSQL基本语句三-----连接查询--inner join、left join、full join、union all、union
一、(inner) join连接2个表,取出公共部分必须重命名on后连接条件键值唯一连接前注意去重,提高效率inner可省略select * from user_list_1 as a inner join user_list_2 as bon a.user_id=b.user_id;二、left /right join...原创 2020-02-08 23:00:44 · 7829 阅读 · 2 评论 -
hiveSQL基本语句二------常用函数(时间戳、时间间隔、if、case)
from_unixtime()to_date()datediff()substr()ifcase when ... then原创 2020-02-06 14:04:05 · 4073 阅读 · 0 评论 -
hiveSQL基本语句一:语句执行顺序from>where>group by>having>select>order by
group by语法原创 2020-02-04 23:50:46 · 2698 阅读 · 0 评论 -
hive基础,创建表如何指定分区、如何设置永久严格模式
1、1.在hadoop的家目录下新建一个目录datas:mkdir datas2.通过xftp将数据源文件传到datas中3.“hadoop fs -mkdir /datas”4.“hadoop fs -chmod g+w /datas”5.“hadoop fs -put /home/hadoop/datas/* /datas”–1.创建kaikeba库create databas...原创 2020-02-02 22:44:14 · 1941 阅读 · 0 评论 -
hadoop fs与hdfs dfs命令的区别
Hadoop fs:使用面最广,可以操作任何文件系统。例:将数据传入HDFS datas目录下 :hadoop fs -put /home/hadoop/datas/* /datashadoop dfs与hdfs dfs:只能操作HDFS文件系统相关(包括与LocalFS间的操作),前者已经Deprecated,一般使用后者。例:将本地数据加载到hive表中hdfs dfs -...原创 2020-02-02 21:24:00 · 2503 阅读 · 0 评论 -
load data到hive表4中方式的区别
1、load data到hive表4中方式的区别2、load data到普通表与分区表的区别3、原创 2020-02-02 21:14:37 · 777 阅读 · 0 评论