经验
文章平均质量分 59
木鱼Gavin
敲,敲,敲,敲,敲,敲,敲,敲,敲
展开
-
Spark任务配置是否进行HBase的Token校验
这个问题的起因是在运行Spark on Yarn的任务时候,发现不涉及HBbase的任务也会去获取HBase的token,所以特意到网上查阅了一下资料,得到的一些结论和实践结果小结如下:为什么在spark启动的时候会主动尝试连接HBASE?使用Spark提交任务时,Driver默认会去HBase获取Token,访问HBase则需要配置文件“jaas.conf”进行安全认证。此时若用户未配置“jaas.conf”文件,会导致应用运行失败。当应用不涉及HBase时,即无需获取HBase Toke原创 2021-08-30 10:35:24 · 878 阅读 · 0 评论 -
解决方法·Spring Boot 报错Bean重复
背景 Spring boot 项目启动的时候,报错了,说是Bean重复了,建议设置spring.main.allow-bean-definition-overriding=true但是,其实我是设置了,但是依旧bao原创 2021-06-19 19:57:28 · 3244 阅读 · 1 评论 -
小实验·设计模式-简单工厂模式
背景我做的产品属于公共组件;之前和我们对接的有一个产品要更新大版本了;然后。。。工作量就来了本来他们4.0版本的和我们对接过了,也提供了一些列的接口给我们用;然后他们现在要大版本变迁,迭代到5.0去;再然后。。。。之前对接的接口都不要了,,,要重新对接(都是自己公司的,就是任性)。。同时,at the same time,由于各个局点还在商用,所以我们的代码要保持着能够兼容他们4.0产品的同时,也要支持他们的5.0产品。综上,老的接口不能丢,新的接口要能够对接so,how to de原创 2021-04-03 09:45:51 · 280 阅读 · 0 评论 -
小实验·Guava同步缓存&异步缓存
背景最近在写代码的时候,在for循环中根据key从redis中获取value;然后,问题就出现了:for循环了3000+次,足足耗时10+秒。。。(一开始的时候没有意识到会有这么多数据)so,how to deal it ???使用Guava缓存Guava缓存网上资料不少,将源码的也多;我个人理解就是放在本地的一个高级点的Map(接触不深,堪堪够满足当前需要);好比平时我们自己在代码中搞的那些个List或者Map之类的一个作用,就是用来当本地缓存;只不过Guava这个多了很多原创 2021-03-28 21:51:35 · 903 阅读 · 0 评论 -
Windows重装系统
Windows重装系统注:此次重装系统,只会影响到C盘,其他盘的数据不会动;材料准备:1.需要重装系统的电脑2.一个内存至少4G的U盘(U盘要格式化,所以盘里的东西要备份好)3.安装好软件“韩博士装机大师”开始重装系统:1.电脑插入U盘,启动软件“韩博士装机大师”2.选择下图中的“U盘制作”——>“一键制作启动U盘”,之后就是一些选择系统版本什么,都是凭个人需...原创 2018-11-18 19:09:26 · 1976 阅读 · 2 评论