hive
大数据球球
每天进步一点点总会有所成功
展开
-
用hive命令行动态往分区表里插入数据
set hive.exec.dynamic.partition=true; -- 打开动态分区sethive.exec.max.dynamic.partitions.pernode=1000;set hive.exec.dynamic.partition.mode=nonstrict;-- 设置为非严格模式这个跟第一个是必须的insert overwrite table app_bigdat...原创 2020-04-14 10:38:08 · 1108 阅读 · 1 评论 -
hive2.3.3安装使用
hive的安装简单一些,使用也比较简单,基础hadoop搭建好之后,只要初始化一些目录和数据库就好了安装需要做几件事:1.设立一个数据源作为元数据存储的地方,默认是derby内嵌数据库,不过不允许远程连接,所以换成mysql2.配置java路径和classpath路径下载地址: http://mirrors.shuosc.org/apache/hive/hive-2.3.3/解...原创 2018-06-05 13:18:46 · 2597 阅读 · 0 评论 -
Hive Hive性能调优总结
一、Fetch抓取1、理论分析Fetch抓取是指,Hive中对某些情况的查询可以不必使用MapReduce计算。例如:SELECT * FROM employees;在这种情况下,Hive可以简单地读取employee对应的存储目录下的文件,然后输出查询结果到控制台。在hive-default.xml.template文件中hive.fetch.task.conversion默认是mo...转载 2019-05-30 20:32:43 · 371 阅读 · 0 评论 -
Hive 开窗函数 汇总
近期用开窗函数比较多老是用不好 ,这里做一下汇总原创 2019-08-18 16:35:54 · 4774 阅读 · 1 评论 -
hive拆分json数组取出各个值的第二层
select id,secondLevel item,indexValue scorefrom (select id,split(regexp_replace(regexp_extract(detail,'^\\[(.+)\\]$',1),'\\}]}\\,\\{', '\\}]}\\|\\|\\{'),'\\|\\|') as L1select * from datatable....原创 2019-08-10 11:33:18 · 2241 阅读 · 0 评论