自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(45)
  • 收藏
  • 关注

原创 HiveServer2 启动时 datanucleus.schema.autoCreateTables 不生效的问题

HiveServer2 启动时出现 "Either your MetaData is incorrect, or you need to enable "datanucleus.schema.autoCreateTables",而datanucleus.schema.autoCreateTables不生效

2024-09-09 00:15:10 555 1

原创 Hive 本地启动时报错 Persistence Manager has been closed

解决办法是将 ObjectStore 类中静态变量 forTwoMetastoreTesting 为 true

2024-09-07 17:51:15 807

原创 学习Kerberos

用户要去游乐场,首先要在门口检查用户的身份(即 CHECK 用户的 ID 和 PASS), 如果用户通过验证,游乐场的门卫 (AS) 即提供给用户一张门卡 (TGT)。这张卡片的用处就是告诉游乐场的各个场所,用户是通过正门进来,而不是后门偷爬进来的,并且也是获取进入场所一把钥匙。现在用户有张卡,但是这对用户来不重要,因为用户来游乐场不是为了拿这张卡的而是为了游览游乐项目,这时用户摩天楼,并想游玩。

2024-09-01 22:15:00 763

原创 Hive出现BigDecimal wourld overflow supported range问题

hbase shell插入的基础类型数据通过bigdecimal查看数据位数可以看到数据位数变得很大。问题在于BigDecimal设置的精度太小或太大了,例如2^32 - 1或者-2^32。而且如果scale很大的话,就就算没有报错,计算也需要耗费很长的时间。真正的bigDecimal数据正常状态下查看是会乱码的。Jdk17计算后大于MAX_MAG_LENGTH报错。测试jdk11直接大于MAX_VALUE报错。这个问题也和使用的jdk版本也有关系。怀疑是插入了类似数据导致了这个问题。

2024-09-01 07:30:00 218

原创 不想再搬砖了!我给火爆全网的砖了个砖做了个辅助工具!!

但是倔强的我怎么能会因为这点事就退缩了呢,于是我花了一点时间学习了一下简单的图像识别,以及设计了一个简单的算法,接下来就有了下面的辅助工具!但是由于越玩到后面难度越大,还有体力最高只有一格,且一格体力居然几个小时才能恢复,着实劝退了不少人。我花了一个小时的时间,才好不容把第二关通过了,中间还邀请朋友帮忙才通过的。然后呢,我根据规则设计了一个简单的算法,算法的的步骤就不多说了。继羊了个羊之后,又一款小游戏火了起来,那就是《砖了个砖》!参数,依次设置为图片地址,图片中方块的行数和列数。搬砖还是得讲究效率!

2024-08-30 20:00:00 289

原创 Hadoop和Yarn故障切换高可用原理

通常调用Yarn和Hadoop的客户端api时都会经过他们的一层代理类,每次调用代理类方法失败时会进行重试或者故障转移,代理类的创建是通过创建的,例如RMProxy、ServerProxy、NameNodeProxies都会通过它创建相应的客户端代理。下面主要解析一下YarnClient使用的RMProxy(默认Hadoop2):创建RMProxy创建故障切换代理供应者FailoverProxyProvider,默认为ConfiguredRMFailoverProxyProvider,用于出现故障时切换节点

2024-08-30 18:15:00 772

原创 通过写文件方式写入 Hive 数据

Hive最简单的写入数据方式就是通过Hive Jdbc写入Hive数据,但这并不是写入Hive最高效的方法。Hive通过读取相关Hdfs的文件来获取数据信息,而通过直接写入Hdfs文件数据达到写入Hive数据的效果,这是目前最高效的方法

2024-08-28 23:02:02 1083

原创 NodeManager本地缓存源码解析

NodeManager本地缓存中资源有三种可见度:PUBLIC、PRIVATE、APPLICATION,每种可见度都需要不同的处理PUBLIC:全局共享缓存,资源存放在 ${yarn.nodemanager.local-dirs}/filecache/ 目录下PRIVATE:对应用户级别共享资源,资源存放在yarnnodemanagerlocal−dirsusercache{user}/filecache/ 目录下。

2024-08-28 22:48:31 944

原创 YarnClient发送和接收请求源码解析

其中Hadoop和Yarn组件大部分是通过Protobuf(Protocol Buffers)协议进行通信。Protobuf 是一种由 Google 开发的二进制序列化格式和相关的技术,它用于高效地序列化和反序列化结构化数据,通常用于网络通信、数据存储等场景。

2024-08-28 22:42:19 969

原创 Flink内存调优

基于 JVM 内存存在一些问题,并且在大数据场景下,无法在内存中存储海量数据,计算效率无法提高。Flink 社区采用自主内存管理设计,设计了两种内存模型 JobManager 内存模型和 TaskManager 内存模型。

2024-08-24 10:02:23 1197

原创 Mac Hadoop Yarn日志聚合出错

目录下应该就可以看见Hadoop-2.7.3目录,也就是hadoop应用程序了,可以通过判断启动hadoop任意组件是否会发出没有加载native库警告来判断是否生效(注意:通过hadoop checknative -a仍会报错,因为brew上面的库还是无法加载到,但是不影响hadoop启动时加载native库)由于hadoop没有提供mac平台上的包,所以如果我们想要在mac上使用hadoop的native库,那么就只能通过手动构建hadoop了。简单思考是没有加载到Hadoop的native库导致的。

2024-02-11 11:55:36 544

原创 Idea 中markdown文件无法预览问题

Idea 中markdown文件无法预览问题

2023-03-25 22:49:13 3688

原创 Java NIO和BIO比较

学过计算机组成原理就知道在IO系统中直接内存访问DMA方式相比程序中断方式访问方式,进一步提高了CPU利用率,这里从Java程序通过对读写一个文件来进行一个验证。

2023-03-02 15:49:57 287

原创 Gradle如何排除依赖项目的某些包

在开发一个Gradle相关项目时,遇到了Gradle如何排除依赖项目的某些包这个问题,网上也并不能找到相关问题的解决方案,这就让我需要我仔细阅读官方文档相关部分了。

2022-12-30 18:27:00 8388

原创 数字签名是什么?公钥和私钥是什么

数字签名是什么?公钥和私钥是什么

2022-12-30 17:59:00 1962

原创 记录Gradle中Checkstyle和Spotbugs的使用

Checkstyle 是一个开发工具,用于帮助程序员编写符合编码标准的 Java 代码。它自动化了检查 Java 代码的过程,使人们免于承担这项枯燥(但重要)的任务。这使得它成为希望实施编码标准的项目的理想选择。SpotBugs 是一个在 Java 程序中发现 bug 的程序。它寻找“ bug 模式”的实例ーー可能是错误的代码实例。

2022-12-30 16:29:27 1384

原创 Linux 修改应用默认启动

Linux 修改应用默认启动

2022-12-30 11:29:49 500

原创 RESTFUL Api学习

RESTFUL Api学习

2022-12-30 11:27:42 98

原创 SpringBoot Validator使用

SpringBoot Validator使用

2022-12-30 11:23:40 477

原创 Shell教程

Shell 脚本(shell script),是一种为 shell 编写的脚本程序。

2022-12-30 11:10:53 413

原创 认识PWA(渐进式网页引用)

渐进式 Web 应用程序(PWAs)是使用现代 API 构建和增强的 Web 应用程序,以提供增强的功能、可靠性和可安装性,同时通过单个代码库访问任何人、任何地点、任何设备。

2022-12-30 11:08:58 352

原创 GitHub Actions入门教程

GitHub Actions 是一个持续集成和持续交付(CI/CD)平台,允许您自动化构建、测试和部署流水线。您可以创建工作流来构建和测试存储库中的每个请求,或者将合并的请求部署到生产环境中。

2022-12-30 11:05:00 2091

原创 Husky入门教程

使用Husky,编写脚本,在代码提交之前,自动对代码进行格式化、优化、自定义。

2022-11-13 16:02:40 4435 2

原创 mybatis-generator如何从环境变量中使用数据库密码

mybatis-generator如何从环境变量中使用数据库密码(使用gradle)

2022-08-31 23:10:27 604

原创 Gradle入门

Gradle入门

2022-08-31 10:07:25 1555

原创 Linux下在调试JVM虚拟机时遇到的问题

Linux下在调试JVM虚拟机时遇到的问题

2022-08-15 15:04:49 1680

原创 前端如何将两个分离项目合并发布到一个端口

前端如何将两个分离项目合并发布到一个端口

2022-07-27 10:00:29 1624

原创 个人使用linux软件分享

个人linux软件分享

2022-07-26 20:24:39 2786

原创 Springdoc、OpenApi如何编写multipart/form-data、文件上传接口

Springdoc、OpenApi如何编写multipart/form-data、文件上传接口

2022-07-13 16:52:00 4760 3

原创 ubuntu “could not store password an apparmor policy mysql workbench” Code Answer

ubuntu “could not store password an apparmor policy mysql workbench” Code Answer

2022-06-15 08:49:32 749

原创 默认SpringSecurity大致启动流程源码分析

默认SpringSecurity大致启动流程源码分析

2022-05-05 10:05:12 629

原创 Security Filters顺序

Security Filters顺序​ Security Filter通过SecurityFilterChain 被插入到FilterChainProxy中。过滤器的顺序很重要,但通常不需要知道Spring Security过滤器的顺序。然而,有些时候,知道顺序是有益的。你可以通过FilterOrderRegistration查看过滤器的顺序FilterOrderRegistration.javaFilterOrderRegistration() { Step order = new S

2022-05-04 17:00:59 657

原创 SpringSecurity保存登录前的请求页面和跳转回登录前页面的源码分析

SpringSecurity保存登录前的请求页面和跳转回登录前页面的源码分析保存ExceptionTranslationFilter在处理未认证信息异常时会使用RequestCache保存登录前请求页面信息。所以我们就从创建ExceptionTranslationFilter和RequestCache开始分析。ExceptionTranslationFilter和RequestCache都是由ExceptionHandlingConfigurer创建的,如下:ExceptionHandlingC

2022-05-03 18:40:04 1264

原创 SpringSecurity异常处理源码解析

SpringSecurity异常处理源码解析异常处理主要是由ExceptionTranslationFilter完成的,而ExceptionTranslationFilter是由ExceptionHandlingConfigurer配置的,所以我们从ExceptionHandlingConfigurer开始解析我们首先看ExceptionHandlingConfigurer的configure(Httpsecurity security)方法:@Overridepublic void configu

2022-05-03 15:01:25 783

原创 SpringSecurity生成权限流程源码分析

SpringSecurity生成权限流程源码分析自定义match路径,@Overrideprotected void configure(HttpSecurity http) throws Exception { http.authorizeRequests() .antMatchers("/lib/*", "/js/*").permitAll() //配置POST访问/users需要有ADMIN权限 .mvcMatc

2022-05-03 14:59:40 599

原创 个人vim配置

个人vim配置条件:vundle插件plug插件bundle插件了解基本它们的基本用法(知道怎么用它们安装其他插件)功能:java自动补全、其他的基本补全高亮很好看展示如下~/.vimrcset nocompatiblefiletype onset runtimepath+=~/.vim/bundle/neobundle.vim/set runtimepath+=~/.vim/bundle/YouCompleteMeset rtp+=~/.vim/bundle/V

2022-04-24 21:30:35 417

原创 vim快捷键笔记

vim快捷键基本操作单个字符移动h: 向左移动l: 向右移动j: 向下移动k: 向上移动xh: 向左移动x个字符距离单词移动w: 将光标移动到下一个单词的开头b: 将光标移动到前一个单词的开头e: 将光标移动到下一个单词的词末E: 移动到单词的结尾(忽略标点符号)ge: 将光标移动到上一个单词的词末2w: 指定移动的次数行移动$: 将光标移动到当前行的行尾0: 将光标移动到当前行的行首^: 将光标移动到当前行的第一个非空字符(行首和当前行非空字符不是一个位置

2022-04-24 21:15:35 670

原创 Elasticsearch常用术语

学习Elasticsearch建议看官方文档:elasticsearch官方文档Elasticsearch官方网站有时加载较慢,推荐保存下来看推荐一个我喜欢用的离线下载网站的软件:Httrack学习elasticsearch遇到了很多坑,看官方文档因为一些术语经常有时候看不懂,这里我把常用的一些术语分享出来便于大家学习ElasticsearchElasticsearch是一个分布式文档存储。Elasticsearch 为所有类型的数据提供近乎实时的搜索和分析。无论你有结构化或非结构化的

2022-04-24 21:08:05 1626

原创 Springdoc使用Swagger3、OpenApi规范

Springdoc、Swagger3、OpenApi规范

2022-04-08 21:49:45 4241

原创 Java中Collector

用法:直接上代码import org.junit.jupiter.api.Assertions;import org.junit.jupiter.api.BeforeEach;import org.junit.jupiter.api.DisplayName;import org.junit.jupiter.api.Test;import java.util.*;import java.util.function.BinaryOperator;import java.util.stream.

2022-03-20 10:42:00 436

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除