![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hive
maomao_dreamhigh
这个作者很懒,什么都没留下…
展开
-
hive的join,left join,right join,full outer join,left semi join,cross join
注意:Hive中Join的关联键必须在on中指定,不能在Where中指定,否则就会先做笛卡尔积,再过滤。一、测试数据测试表create table test_1223_1(mobile string,score1 string,score2 string)row format delimited fields terminated by ',' ;数据测试表create table test_1223_2(mobile string,score3原创 2021-12-23 16:03:07 · 1615 阅读 · 0 评论 -
hive计算几个月的最大最小时一定要把string类型转换成int类型
数据如下错误写法!select msisdn as msisdn,max(no_active_day) as 60002_d_no_active_day_con_max_m6,min(called_ops_nbr_con) as 60002_d_called_ops_nbr_con_min_m6from xyxj_test_1221_60002_val where stat_month>=202105 and stat_month<=202原创 2021-12-21 11:46:12 · 1095 阅读 · 0 评论 -
hive卡在最后一个reduce过不去_数据倾斜
sql语句insert overwrite table jk_ld_xyxj_1214_25002 partition (stat_month='202110')select a.msisdn, a.25002_area_type, a.longitude, a.latitude from(select msisdn,25002_area_type,longitude,latitude,row_number() over (partition by msisdn order by longitude原创 2021-12-15 12:11:07 · 3909 阅读 · 0 评论 -
hive中map和reduce数量的问题
一、控制hive任务中的map数:1、通常情况下,作业会通过input的目录产生一个或者多个map任务。主要的决定因素有: input的文件总个数,input的文件大小,集群设置的文件块大小(目前为128M, 可在hive中通过set dfs.block.size;命令查看到,该参数不能自定义修改);2、举例:a) 假设input目录下有1个文件a,大小为780M,那么hadoop会将该文件a分隔成7个块(6个128m的块和1个12m的块),从而产生7个map数。b) 假设input目录下有3个文转载 2021-12-10 18:12:48 · 727 阅读 · 0 评论 -
最近常用容易遗忘的命令
一、杀死正在跑的任务yarn application -kill application_XXXX二、hive动态分区1、设置两个参数值set hive.exec.dynamic.partition =true; set hive.exec.dynamic.partition.mode = nonstrict;2、语句建表语句(与正常建表语句没有区别)create table hw_1_zyjk_qwsjxygj_101.jk_ld_ms_xw_model_60原创 2021-11-24 15:38:47 · 1110 阅读 · 0 评论 -
Shuffle failed with too many fetch failures and insufficient progress!
在hive中跑数时候报错Caused by: java.io.IOException: Reducer_2: Shuffle failed with too many fetch failures and insufficient progress!failureCounts=1, pendingInputs=1, fetcherHealthy=false, reducerProgressedEnough=true, reducerStalled=trueat org.apache.tez.runt原创 2021-10-11 17:48:15 · 1946 阅读 · 0 评论 -
insert overwrite出现Table insclause-0 has 9 columns, but query has 10 columns.
如上图,两个表的结构是一样的。insert overwrite table hw_1_zyjk_qwsjxygj_101.td_special_month partition (stat_month = '202106') select * from hw_1_zyjk_qwsjxygj_101.dk_60081_zhjr_user_app_useinfo_d_month where stat_month='202106' and app_name in ('XXX');然后就报错Error: .原创 2021-10-11 16:01:46 · 3627 阅读 · 0 评论 -
通过jdbc连接hive出现错误
按照网上的文档,在idea中通过jdbc连接hive,但是总是出现问题此时已经确定实施了 1、启动HiveServer22、注入了依赖哎,搜了快一下午了,有些难受。。。原创 2021-01-14 18:51:19 · 344 阅读 · 0 评论 -
如何启动HiveServer2
如何启动HiveServer2hiveserver2的配置和启动转载 2021-01-14 17:34:01 · 673 阅读 · 0 评论