- 博客(26)
- 收藏
- 关注
原创 javadoc出现java_home没有设置的问题
Error while creating archive: Unable to find javadoc command: The environment variable JAVA_HOME is not correctly set出现这个原因是系统配置的JAVA_HOME没有生效在pom.xml 中指定javadoc的javahome路径 :…maven-javadoc-plugin${java.home}/…/bin/javadoc…idea中手动添加环境变量..
2022-02-10 19:45:13 1112
原创 如何查看yarn的日志
yarn的上container的日志存放在哪里我们从yarn ui上看到的application的日志具体是从哪里加载的呢。如果yarn.log-aggregation-enable参数设置为true,使运行完成的任务将日志推送到HDFS上,以方便作业日志集中管理和分析。那么日志就会存放在yarn.nodemanger.remote-app-log-dir设置的属性值中。那么任务运行过程中,日志首先会放到Container的作业日志是存放在各个节点的yarn.nodemanager.log-dirs目
2022-01-29 20:15:52 3539
原创 hive启动过程中slf4j日志冲突导致控制台看到很多日志
背景描述更改了hive的启动配置,发现hive启动的控制台页面,出现很多日志信息,而改动之前这些日志都是不可见的。初步怀疑是slf4j的实现类加载异常。分析hive的加载的slf4j实现类异常的slf4j 加载的class是Actual binding is of type [org.slf4j.impl.Log4jLoggerFactory]SLF4J: Class path contains multiple SLF4J bindings.SLF4J: Found binding in [
2022-01-24 16:09:07 3125
原创 hive显示转换的写法
看hive的官方文档介绍,hive支持隐式转换也支持显示转换,显示转换看到的官方的介绍需要通过cast命令完成转换。但是都没有介绍可以通过类型名称加括号的方式也能完成显示转换。举例下面两种写法是等价的select timestamp("2021-12-03 10:12:23")select cast("2021-12-03 10:12:23" as timestamp) ...
2021-12-03 11:10:13 223
原创 mac os 下idea编译hive出现javadoc找不到
背景编译hive的时候,使用的命令是mvn clean package -Pdist,hive-webchat总是编译报错,mvn命令中加上-e(即mvn clean package -Pdist -e)显示错误日志如下,同时看到错误日志中javadoc的寻找的路径是$JAVA_HOME/jre/bin/javadoc。"Failed to execute goal org.apache.maven.plugins:maven-javadoc-plugin:3.2.0:javadoc (default-
2021-12-02 19:24:07 593
原创 hive 分区值支持中文
背景hive 插入分区时(insert into 或者add partition等操作)分区值是中文的时候,就出现报错。alter table test add partition(part=“中文”);hivemetastore报错信息2021-12-01T15:25:03,474 ERROR [pool-8-thread-134] bonecp.ConnectionHandle: Database access problem. Killing off this connection and a
2021-12-01 19:43:47 3780
原创 idea iml文件丢失
idea iml文件删除之后,就导致文件前面出现红点,同时也不能识别为maven工程。解决方案:在idea maven 窗口执行,mvn idea:module
2021-11-30 17:26:07 601
原创 yarn log查看
yarn ui查看yarn logs -application 查看配置文件中的yarn-site.xml,查看log的目录查看yarn.log-aggregation-enable为true,如果是true,说明开启了日志聚合,那么日志就放在了yarn.nodemanager.remote-app-log-dirname的定义的配置项中如果yarn.log-aggregation-enable为false,那么日志放在yarn.nodemanager.log-dirs定义的配置项中..
2021-11-10 10:07:01 2353
原创 Java异常那些事
1. 受检异常和非受检异常非受检异常:继承RuntimeException的异常都是非受检异常,非受检异常不需要在函数上明确声明throws exception;那么为啥异常要分受检和非受检呢。如果需要明确函数抛出的异常,那么就需要明确一下,并且编译器会自动监测受检异常是否处理,否则会编译报错。非受检异常,这个表示是运行期错误,是不应该发生的,发生了就应该出错才对。那么我们写程序的时候,到底是写受检异常好呢还是非受检异常好。其实不管是定义受检和还是非受检,都要在适当的时候捕获异常,不能因为
2021-10-03 17:04:02 68
原创 macos下idea内存设置
1. 找到jvm参数文件路径如下图所示,显示包内容后,进入目录Contents/MacOS/,找到idea启动程序双击执行idea可以看到下面红色框标注的加载idea.vmoptions的路径2. 编辑jvm参数-Xms1024m-Xmx4096m-XX:ReservedCodeCacheSize=1024m3. 验证jvm参数3.1 idea验证打开idea显示memory indicator,可以看到最大内存已经设置为4096M了3.2 jstat验证使用top找到i
2021-09-30 18:32:52 4781 1
原创 java中文本格式化
1. 手动拼接字符串通过字符串连接方式String text = "name:" + name + ", id:" + id;这种方式使用+号连接,常量文本和变量混合,不直观2. string.format使用方法:format(String format, Object… args) 新字符串使用本地语言环境,制定字符串格式和参数生成格式化的新字符串。举例String text = String.format("name:%s,id:%s",name,id);这种方式,常量文本放在一起
2021-09-30 17:36:10 1008
原创 linux .号的作用
用法. shell文件说明:在当前shell环境中,执行shell文件中的命令,所以执行的结果会影响当前shell环境,特别是需要配置全局变量时。等价命令 source shell文件和直接使用bash shell文件的区别。bash shell文件会开启一个子shell,子shell中的环境变量等设置不会影响当前shell举例创建一个shell文件,test.sh,内容如下#!/bin/bashexport TEST_ENV="abc"bash执行bash test
2021-09-30 16:57:00 119
原创 spark 2.3编译出现 net.alchim31.maven:scala-maven-plugin NullPointerException 异常
编译spark工程,使用maven clean package -DskipTests编译,出现标题中的错误使用maven clean package -DskipTests -e,查看出现详情,发现下面的错误Scala project using sbt throws NullPointerExceptionjava.lang.NullPointerException at java.base/java.util.regex.Matcher.getTextLength(Matc...
2020-10-21 09:39:58 782
原创 maven 编译出现 can‘t tranfer xx的错误
如果遇到这个问题,一般是maven没有下载到正确的jar包,可以在指定的文件下,看到在本地仓库会有这个文件*.lastUpdated结尾的文件。那么如何解决这个问题呢?一般可能是maven仓库地址不对,换一个再试试。另外的话,maven 编译命令加上-e参数,可以输出详细的编译日志,进而定位问题,比如mvn clean package -e...
2020-10-19 17:36:47 409
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人