Small_codeing的博客

版本：HDP3.1.4 Hive3.1.0异常描述：java.io.IOException: File hdfs://cluster/tmp/hive/.hive-staging_hive_2021-04-09_10-08-47_704_718343819133902574-25365/_tmp.-ext-10002.moved/000316_1 with newer attempt ID 1 is smaller than the file hdfs://cluster/tmp/hive/.hiv

环境描述：CDH6.2.0问题描述：提交flink任务时，偶尔running,偶尔时accepted状态，无法提交，通过rm地址发现此问题 ACCEPTED: waiting for AM container to be allocated, launched and register with RM.分析过程：1.查看是否因为资源不足导致的无法提交，队列资源充足，排除资源不足问题2.排除对应的resourcemanage和nodemanager日志，并没有异常3.查看...

1.下载地址https://mirrors.bfsu.edu.cn/apache/flink/flink-1.12.1/flink-1.12.1-bin-scala_2.12.tgz2.解压测试tar -xzvfflink-1.12.1-bin-scala_2.12.tgz3.wordcount测试cdflink-1.12.1-bin-scala_2.12测试1./bin/flink run -m yarn-cluster -yjm 1024 -ytm 1024 ...

版本为hive3.1hdp的hiveserver2的内存使用达到了80G（heap配置了74G） ，内存打满后，会出现频繁full gc，然后内存无法回收的情况，导致服务异常。分析内存使用情况。jmap -dump:fromat=b,file=/home/hive/hive.dump 285854文件大小为60G 压缩后5G使用jprofile分析char[] 占用了34G RexCall 占用4G String 占用了3.3Gcharn[]分析看了下大内存占用的都是H.