自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(26)
  • 收藏
  • 关注

原创 mac os安装thrift避坑指南

macos 安装thrift避坑指南

2024-01-16 13:47:22 1726 1

原创 如何使用apache邮箱申请 jetbrains全家桶产品

jetbrains

2023-03-19 23:13:17 720

原创 查看java进程的classpath

java 查看classpath

2022-12-02 10:51:57 1778

原创 pyspark环境配置

idea配置pyspark环境

2022-09-27 15:03:18 488

原创 记一次maven包冲突解决

java 包冲突如何解决的。从定位冲突,到解决方案

2022-09-08 23:25:38 657

原创 flink 作业常见报错1

flink 开发作业常见错误

2022-08-30 19:55:41 2013

原创 git 冲突如何解决

git如何解决冲突

2022-08-23 19:46:49 860

原创 git 撤销提交commit

git 撤销提交命令

2022-08-02 14:15:59 477

原创 hive复杂类型的使用

hive使用复杂类型

2022-06-15 22:32:37 207

原创 macos bash_profile不生效

macos bash_profile不生效

2022-06-10 18:18:21 1098

原创 多线程访问hashmap并发冲突问题定位

java 多线程访问hashmap问题定位与分析

2022-06-10 11:57:17 3049

原创 javadoc出现java_home没有设置的问题

Error while creating archive: Unable to find javadoc command: The environment variable JAVA_HOME is not correctly set出现这个原因是系统配置的JAVA_HOME没有生效在pom.xml 中指定javadoc的javahome路径 :…maven-javadoc-plugin${java.home}/…/bin/javadoc…idea中手动添加环境变量..

2022-02-10 19:45:13 1112

原创 如何查看yarn的日志

yarn的上container的日志存放在哪里我们从yarn ui上看到的application的日志具体是从哪里加载的呢。如果yarn.log-aggregation-enable参数设置为true,使运行完成的任务将日志推送到HDFS上,以方便作业日志集中管理和分析。那么日志就会存放在yarn.nodemanger.remote-app-log-dir设置的属性值中。那么任务运行过程中,日志首先会放到Container的作业日志是存放在各个节点的yarn.nodemanager.log-dirs目

2022-01-29 20:15:52 3539

原创 hive启动过程中slf4j日志冲突导致控制台看到很多日志

背景描述更改了hive的启动配置,发现hive启动的控制台页面,出现很多日志信息,而改动之前这些日志都是不可见的。初步怀疑是slf4j的实现类加载异常。分析hive的加载的slf4j实现类异常的slf4j 加载的class是Actual binding is of type [org.slf4j.impl.Log4jLoggerFactory]SLF4J: Class path contains multiple SLF4J bindings.SLF4J: Found binding in [

2022-01-24 16:09:07 3125

原创 hive显示转换的写法

看hive的官方文档介绍,hive支持隐式转换也支持显示转换,显示转换看到的官方的介绍需要通过cast命令完成转换。但是都没有介绍可以通过类型名称加括号的方式也能完成显示转换。举例下面两种写法是等价的select timestamp("2021-12-03 10:12:23")select cast("2021-12-03 10:12:23" as timestamp) ...

2021-12-03 11:10:13 223

原创 mac os 下idea编译hive出现javadoc找不到

背景编译hive的时候,使用的命令是mvn clean package -Pdist,hive-webchat总是编译报错,mvn命令中加上-e(即mvn clean package -Pdist -e)显示错误日志如下,同时看到错误日志中javadoc的寻找的路径是$JAVA_HOME/jre/bin/javadoc。"Failed to execute goal org.apache.maven.plugins:maven-javadoc-plugin:3.2.0:javadoc (default-

2021-12-02 19:24:07 593

原创 hive 分区值支持中文

背景hive 插入分区时(insert into 或者add partition等操作)分区值是中文的时候,就出现报错。alter table test add partition(part=“中文”);hivemetastore报错信息2021-12-01T15:25:03,474 ERROR [pool-8-thread-134] bonecp.ConnectionHandle: Database access problem. Killing off this connection and a

2021-12-01 19:43:47 3780

原创 idea iml文件丢失

idea iml文件删除之后,就导致文件前面出现红点,同时也不能识别为maven工程。解决方案:在idea maven 窗口执行,mvn idea:module

2021-11-30 17:26:07 601

原创 yarn log查看

yarn ui查看yarn logs -application 查看配置文件中的yarn-site.xml,查看log的目录查看yarn.log-aggregation-enable为true,如果是true,说明开启了日志聚合,那么日志就放在了yarn.nodemanager.remote-app-log-dirname的定义的配置项中如果yarn.log-aggregation-enable为false,那么日志放在yarn.nodemanager.log-dirs定义的配置项中..

2021-11-10 10:07:01 2353

原创 Java异常那些事

1. 受检异常和非受检异常非受检异常:继承RuntimeException的异常都是非受检异常,非受检异常不需要在函数上明确声明throws exception;那么为啥异常要分受检和非受检呢。如果需要明确函数抛出的异常,那么就需要明确一下,并且编译器会自动监测受检异常是否处理,否则会编译报错。非受检异常,这个表示是运行期错误,是不应该发生的,发生了就应该出错才对。那么我们写程序的时候,到底是写受检异常好呢还是非受检异常好。其实不管是定义受检和还是非受检,都要在适当的时候捕获异常,不能因为

2021-10-03 17:04:02 68

原创 macos下idea内存设置

1. 找到jvm参数文件路径如下图所示,显示包内容后,进入目录Contents/MacOS/,找到idea启动程序双击执行idea可以看到下面红色框标注的加载idea.vmoptions的路径2. 编辑jvm参数-Xms1024m-Xmx4096m-XX:ReservedCodeCacheSize=1024m3. 验证jvm参数3.1 idea验证打开idea显示memory indicator,可以看到最大内存已经设置为4096M了3.2 jstat验证使用top找到i

2021-09-30 18:32:52 4781 1

原创 java中文本格式化

1. 手动拼接字符串通过字符串连接方式String text = "name:" + name + ", id:" + id;这种方式使用+号连接,常量文本和变量混合,不直观2. string.format使用方法:format(String format, Object… args) 新字符串使用本地语言环境,制定字符串格式和参数生成格式化的新字符串。举例String text = String.format("name:%s,id:%s",name,id);这种方式,常量文本放在一起

2021-09-30 17:36:10 1008

原创 linux .号的作用

用法. shell文件说明:在当前shell环境中,执行shell文件中的命令,所以执行的结果会影响当前shell环境,特别是需要配置全局变量时。等价命令 source shell文件和直接使用bash shell文件的区别。bash shell文件会开启一个子shell,子shell中的环境变量等设置不会影响当前shell举例创建一个shell文件,test.sh,内容如下#!/bin/bashexport TEST_ENV="abc"bash执行bash test

2021-09-30 16:57:00 119

原创 macos 下idea 开启列编辑功能

mac 下idea 开启列编辑功能快捷键:⇧ + ⌘ + 8 on Mac.

2021-09-09 15:08:40 1653

原创 spark 2.3编译出现 net.alchim31.maven:scala-maven-plugin NullPointerException 异常

编译spark工程,使用maven clean package -DskipTests编译,出现标题中的错误使用maven clean package -DskipTests -e,查看出现详情,发现下面的错误Scala project using sbt throws NullPointerExceptionjava.lang.NullPointerException at java.base/java.util.regex.Matcher.getTextLength(Matc...

2020-10-21 09:39:58 782

原创 maven 编译出现 can‘t tranfer xx的错误

如果遇到这个问题,一般是maven没有下载到正确的jar包,可以在指定的文件下,看到在本地仓库会有这个文件*.lastUpdated结尾的文件。那么如何解决这个问题呢?一般可能是maven仓库地址不对,换一个再试试。另外的话,maven 编译命令加上-e参数,可以输出详细的编译日志,进而定位问题,比如mvn clean package -e...

2020-10-19 17:36:47 409

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除