weixin_55842692的博客

参考官网：GenericUDAFCaseStudy - Apache Hive - Apache Software Foundationhttps://cwiki.apache.org/confluence/display/Hive/GenericUDAFCaseStudypackage comxxx.hive;import org.apache.commons.lang.StringUtils;import org.apache.hadoop.hive.ql.exec.UDFArgumentE

问题：在hdfs上删掉了表的分区目录后，向表中插入不了数据。删掉了NameNode里的表里面的分区目录，表里面的分区目录是元数据，删掉之后就是删掉了元数据此时再向表中导入数据时报错：MoveTask.Exceptionshow partitions dwd_coupon_use ，显示分区存在原因：导入数据时先将表目录里的数据删掉，再将临时目录里已经计算生成的数据移到到表目录里，而此时已经删掉了分区目录，所以是无法移动的；且分区目录是第一次向分区插入数据时创建，而此时分区是存在的

客户端写入中文，服务端存储中文，客户端查询中文，所以客户端对中文进行编码时，不能乱： （1）必须使用可以支持中文编码的字符集：url参数后面添加 useUnicode=true&characterEncoding=UTF-8 （2）服务端收到中文后，必须用中文存，设置表的字符集： #修改字段注释字符集 alter table COLUMNS_V2 modify column COM...

扩充队列 HQL的任务是有优先级的，如何保证有优先级的任务能够有充足的资源保障呢？ 扩充一个子队列，只能提交hive任务。 将$HADOOP_HOME/etc/hadoop/capacity-schdualer.xml替换成以下内容： <!-- Licensed under the Apache License, Version 2.0 (the "License"); you may not use this file except in complian...

在hive-site.xml中添加： <property> <name>mapreduce.job.queuename</name> <value>hive</value> </property> 重启Hive!

问题：无法创建spark客户端jdbc连接hive，当两个窗口都执行insert语句时（每个窗口都相当于是一个独立的客户端，各自提交自己的application），会报错：[42000][30041] Error while processing statement: FAILED: Execution Error, return code 30041 from org.apache.hadoop.hive.ql.exec.spark.SparkTask. Failed to create Spar

报错：Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/commons/logging/LogFactoryCaused by: java.lang.ClassNotFoundException: org.apache.commons.logging.LogFactory解决：导入commons-logging的依赖<!--https://mvnrepository.com/artifact/

1) 配置本地仓库1) Maven的核心程序并不包含具体功能，仅负责宏观调度。具体功能由插件来完成。Maven核心程序会到本地仓库中查找插件。如果本地仓库中没有就会从远程中央仓库下载。此时如果不能上网则无法执行Maven的具体功能。为了解决这个问题，我们可以将Maven的本地仓库指向一个在联网情况下下载好的目录。2) Maven默认的本地仓库：~.m2\repository目录。Tips：~表示当前用户的家目录。3) Maven的核心配置文件位置：解压目录E:\apache-maven.

问题：Maven依赖始终下载不下来，一直飘红原因：检查Maven配置，因为之前设置过本地仓库的目录了，结果新安装的idea没有配置对应的目录，所以就一直找不到maven的仓库。解决：按照下图配置对应的路径：...

在idea Maven package打包时出现：[WARNING] Using platform encoding (UTF-8 actually) to copy filtered resources, i.e. build is platform dependent!解决：在pom.xml中添加： <properties> <project.build.sourceEncoding>UTF-8</project.buil..

hiveserver2运行时报错现象：GC overhead limit exceeded原因：hiveserver2的堆内存太小了解决：修改配置文件$HIVE_HOME/conf/下修改：将配置文件的template后缀去掉：mv hive-env.sh.template hive-env.sh修改：vim hive-env.sh找到export HADOOP_HEAPSIZE=1024，放开注释：如果1024还报GC overhead limit exce

h启动hive时报错：Execution Error, return code 30041 from org.apache.hadoop.hive.ql.exec.spark.SparkTask. Failed to create Spark client for Spark session a2d32dbe-d48c-486f-be8b-2f5c75ffe182日志监控：java.util.concurrent.ExecutionException: java.util.concurren.

数据：1001,2020-09-10 10:21:21,home.html1001,2020-09-10 10:28:10,good_list.html1002,2020-09-10 09:40:00,home.html1001,2020-09-10 10:35:05,good_detail.html1002,2020-09-10 09:42:00,favor.html1001,2020-09-10 10:42:55,cart.html1001,2020-09-10 10:43:55,11

数据：1001 2020-09-10 10:21:21 home.html1001 2020-09-10 10:28:10 good_list.html1001 2020-09-10 10:35:05 good_detail.html1001 2020-09-10 10:42:55 cart.html1001 2020-09-10 11:35:21 home.html1001 2020-09-10 11:36:10 car...

数据：语文,60数学,70语文,0语文,10语文,20数学,50语文,50数学,40英语,52英语,51英语,59英语,97英语,98英语,100数学,80数学,90英语,61结果要求如下：语文,0,1语文,10,1语文,20,1数学,40,2数学,50,2语文,50,3英语,51,4英语,52,4英语,59,4语文,60,5英语,61,6数学,70,7数学,80,7数学,90,7英语,97,8英语,98,8英语,100,8思

问题：hadoop集群的namenode一直处于安全模式。现象：开启hive时报错：org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.hdfs.server.namenode.SafeModeException): Cannot create directory /tmp/hive/xxx/01ce6751-cfbf-4120-9d63-0a2432187af2. Name node is in safe mode.解决：1