- 博客(34)
- 资源 (1)
- 问答 (1)
- 收藏
- 关注
RSS订阅
原创 Delta lake in python [Local][Basic usage]
Basic usage in python(Local env)
2021-12-11 15:09:49
1781
原创 案例图文讲解java传址传值问题
有一个现象：如果你定义了一个字符串，把字符串作为一个方法的参数传入，并试图在方法中对字符串进行修改；那么，当你退出方法之后，你会发现，字符串的修改失效了。具体可以看下面的演示： 就拿上面的代码举例： public static void main(String[] args) { String string = "初始的String"; System.out.println("字符串修改...
2021-06-30 22:44:28
192
原创 Apache Hudi - 3 - 在 AWS Glue 中的实践
实例演示如何一步一步将Apache Hudi配置以及应用到AWS Glue中
2022-03-07 22:29:40
2006
原创 Apache Hudi - 1 - quick-start-guide 快速入门
hudi 快速入门，使用 hudi 实现基本的增删改查，同时实践hudi部分特性，例如时间旅行
2022-03-01 20:05:54
1245
原创 Mac下首次安装pycharm 倒入依赖包
文章目录mac下PyCharm导入第三方包设置 `project interpreter`mac下PyCharm导入第三方包参考：https://blog.csdn.net/zk673820543/article/details/52384134参考文章大致内容如下，我就不重复造轮子了1、PyCharm→Preferences→Project：项目名→Project Interpreterps: 如果Python Interpreter 为 ‘None’，则需要按照文末的“设置 project i
2021-12-19 18:41:04
1683
原创 My_FAQ
文章目录cannot import name 'PackageFinder' from 'pip._internal.index'Error messageResolutionRemove the old file named "get-pip.py" first if you'v got one beforeGet `get-pip` file by curlInstall pipCheck pip versionRun pip for a testcannot import name ‘Package
2021-12-19 18:33:51
575
原创 结构化数据，半结构化数据，非结构化数据非区别和示例
【结构化数据】：关系型数据库进行存储和管理的数据，可用二维表结构表示。 姓名 年龄 爱好 张三 24 篮球 【半结构化数据】：XML和JSON等，它一般是自描述的，数据的结构和内容混在一起，没有明显的区分person> name>Aname> age>13age> gender>femalegend...
2021-08-30 10:42:31
1925
原创 什么是线程安全
通俗的讲，所谓线程安全，就是指多个线程使用到了同一个变量，导致计算的结果与各个线程的调用顺序产生直接的关系；例如：类名：SimpleDateFormat使用场景：1.SimpleDateFormat类的parse方法，可以将满足格式要求的字符串转换成Date对象String--------->SimpleDateFormat.parse()-------->Date2.使用SimpleDateFormat类的format方法，可以将Date类型的对象转换成一定格式的字
2021-08-30 10:39:29
1193
原创 Spark任务配置是否进行HBase的Token校验
这个问题的起因是在运行Spark on Yarn的任务时候，发现不涉及HBbase的任务也会去获取HBase的token，所以特意到网上查阅了一下资料，得到的一些结论和实践结果小结如下：为什么在spark启动的时候会主动尝试连接HBASE？使用Spark提交任务时，Driver默认会去HBase获取Token，访问HBase则需要配置文件“jaas.conf”进行安全认证。此时若用户未配置“jaas.conf”文件，会导致应用运行失败。当应用不涉及HBase时，即无需获取HBase Toke
2021-08-30 10:35:24
896
原创 线程池的几种任务队列小结
1. 直接提交的任务队列（SynchronousQueue）加到maximumPoolSize——>拒绝2.有界的任务队列（ArrayBlockingQueue）指定队列大小 ，加到corePoolSize——>加到队列中——>加到maximumPoolSize——>拒绝3.无界的任务队列（LinkedBlockingQueue）加到corePoolSize——>加到队列中···直到资源耗尽的尽头4.优先任务队列（PriorityBlockingQu
2021-08-30 10:13:47
1549
原创 垃圾回收中的垃圾定义和回收算法心得整理
怎么定义垃圾？引用计数法-----------------》相互引用的对象会造成内存溢出可达性分析法怎么回收垃圾？标记——清除算法-------------------》内存碎片复制算法-------------------------------》内存使用率下降一半标记整理算法-------------------------》向一端频繁移动存活对象，效率不如复制算法分代收集算法-------------------------》朝生夕死的对象，就放到Eden，..
2021-08-30 10:11:45
146
原创 Linux 安装jdk最简洁的方法
1.直接解压缩tar包得到以下路径2.修改.bashrc文件，增加两行（有就修改，没有就增加，改完了记得source一下这个文件）搞定了，检验一下：
2021-08-30 10:03:37
153
原创 解决方法·Spring Boot 报错Bean重复
背景 Spring boot 项目启动的时候，报错了，说是Bean重复了，建议设置spring.main.allow-bean-definition-overriding=true但是，其实我是设置了，但是依旧bao
2021-06-19 19:57:28
3387
1
原创 小实验·java实现图片的读写
背景最近做了一个导入导出的需求，原本是导出数据放到excel表格就好了，只不过，除了普通的文本数据（这部分内容可以看看我之前的另一个小实验）之外。还需要在excel中一起附带上用户图标的导入导出。由此，就走了这篇博客。这次实验简化成了单纯的如何使用java实现图片的读写。代码话不多说，直接上代码package gavin.others;import javax.imageio.ImageIO;import java.awt.image.BufferedImage;import java.
2021-05-06 22:20:13
377
原创 想法·方法代码篇幅为什么不宜过长
最近代码评审，遇到了一些问题；其中一个问题我稍微多想了一下：方法代码篇幅为什么不宜过长？那些想说这是代码规范的就算了，，，我想说的是，为啥会有这个规范？稍微晚上看了下大家的说法，比较多的是说如果篇幅过长，则会违背OOD的“单一职责”的原则；各个版本翻译的文字不太一样，意思就是一个方法的代码篇幅过长，那么就会囊括了过多的处理逻辑；而前辈们多年的开发经验总结之后告诉我们：一个方法职责越是单一，则代码可维护性以及可读性就会高，总之就是好处多多；我在这里想到一个比喻，和大家分享一下：我
2021-04-29 22:42:42
250
原创 解决方法·远程debug代码+跳板机
背景debug是比较高效，并且常见的一种解决代码故障的方法（真实情况其实是。。通过日志看不出来，，才无奈选择）这次分两级介绍远程debug的方法（其实第二级才是我主要想记录的东西。。毕竟第一级，，终究是第一级）：一级别就是debug一台可以从本地直连的服务器； 二级是说一下如何debug一台本地需要通过跳板机才能连接的服务器；ps:这里用的是IDEA进行debug代码远程debug方法首先，你代码得写得能运行，这是最基础的。。假设你已经把代码放到了服务器了；并且能正常启动了d
2021-04-24 22:44:02
1231
3
原创 小实验·MyBatis-Plus使用样例
背景项目中的持久层技术，以前又是jpa，又是jdbcTemplate的；最近接手的一个项目，持久层使用的是MyBatis;看到项目里密密麻麻的各种mapper.xml，感觉世界都黑暗了。。。。虽然说MyBatis可以自动生成Mapper.xml文件，但是一个项目里维护那么大一堆xml映射文件也是一个让人望而生畏的事情，给我映像最深的就是下面两点：1.你底层的数据库类型变了（我遇到的是从MySQL变成了postgres），会导致之前的sql语法也不一样；需要重新手动适配2.一旦表结构发生了
2021-04-21 21:57:48
284
原创 小实验·快速创建纯净的 Spring Boot 项目
背景最近使用mybatis plus的时候，重温了一次创建spring boot项目的过程，这里记录一下；ps:由于我使用的时候Idea新建的项目，所以如果不是Idea的，就不能傻瓜式跟做了，不过也可以参考参考前置条件：jdk/maven/Idea步骤1.打开新建项目窗口 File-->New-->Project2.选择Maven项目通常打开了默认就是这样；这里我们为创建一个纯净的spring boot项目，不勾选“Ccreate From arch...
2021-04-18 22:39:04
314
原创 解决方法·调用方法不同导致的代码重复·函数式编程
上一篇文章讲到，针对实例类型不同导致的代码重复给出了泛型的解决方法；这次针对调用方法不同导致的代码重复也给出解决方法；ps：本例中由于代码较为简洁，行数不多，就采用截图的方式先叙述了，代码在最后；函数式编程解决因调用方法不同导致的代码重复场景举例通常，我们会由如下的场景：定义一个方法，方法有一个入参，然后在方法中处理入参例：现在将入参设置为一个具体的对象实例，然后在方法中调用实例的具体方法；例：分别写两个方法去打印不同实例的属性可以看到，上面的两个方法..
2021-04-18 22:37:38
537
原创 解决方法·实例类型不同导致的代码重复·泛型通配符
背景代码写多了，自然也就挑剔了。。。写代码过程中，遇到一种场景导致代码重复率很高：操作一个对象，但是因为对象的属性里包含了不同类型的对象，导致要每一种类型的对象都要给一个具体的方法去操作；但是其实逻辑都差不多（有点绕，，，直接看样例吧）；样例简化ing.......................下面的代码中，操作一个List，但是，不关注List具体的内容，只是打印出这个List的size（具体的工作中，逻辑要是真这么简单就好了。。。。）package others;impo
2021-04-14 20:50:42
925
原创 小实验·设计模式-适配器模式
书接上回：小实验·设计模式-简单工厂模式上次立下的flag，这波来兑现了重新捋一下场景：我作为公共组件，对接的另外一个组件出现了版本变更，原来的接口已经不用了，需要使用新的接口代替；但需要同时兼容两个版本（版本切换有一个过程，需要逐渐过渡，所以存在一段时间不同的局点使用的组件版本或高或低）上一次我介绍了如何在新接口和老接口的入参和返回参数都相同的情况下进行适配；这一次，介绍一下如何在入参和返回参数不同的情况下进行适配；（其实硬要兼容，强行写各种代码也能，只不过嘛，为了后期好维护，以及
2021-04-11 14:49:04
259
3
原创 小实验·数据导出成Excel-导入Excel
背景做系统开发遇到的场景：1.用户要把页面上创建的管理关系（比如部门关系/人员关系/产品关系等）导出，以便离线查看/分析/备份等作用；2.用户要把本地的关系数据导入到系统这里我把业务逻辑做了简化；介绍一下如何把数据导出成Excel以及如何将Excel数据导入（只要数据搞定了，具体什么逻辑就可以任意实现了）ps：pom在最后把数据导出成Excel代码package export;/** * 将数据导出成 xlsx 格式 **/import org.apach.
2021-04-08 22:31:17
340
原创 解决方法-Beyond Compare 如何比较class文件或者jar包
背景Beyond Compare是一款常用的差异比对工具，一般我用于比对配置文件或者jar包的差异；但是比对jar包的时候，打开的是16进制的内容，完全看不懂，后面的发现Beyond Compare只需要安装插件即可；1.下载插件链接：https://pan.baidu.com/s/1Vv9L9zqFTYqkqbsfQTfJvA提取码：qwer（百度云里，我设置的是资源永久有效）2.导入插件一直下一步，结束之后应该是要重启Beyond Compare的；...
2021-04-05 19:30:17
11052
4
原创 小实验·设计模式-简单工厂模式
背景我做的产品属于公共组件；之前和我们对接的有一个产品要更新大版本了；然后。。。工作量就来了本来他们4.0版本的和我们对接过了，也提供了一些列的接口给我们用；然后他们现在要大版本变迁，迭代到5.0去；再然后。。。。之前对接的接口都不要了，，，要重新对接（都是自己公司的，就是任性）。。同时，at the same time，由于各个局点还在商用，所以我们的代码要保持着能够兼容他们4.0产品的同时，也要支持他们的5.0产品。综上，老的接口不能丢，新的接口要能够对接so，how to de
2021-04-03 09:45:51
284
原创 小实验·Guava同步缓存&异步缓存
背景最近在写代码的时候，在for循环中根据key从redis中获取value；然后，问题就出现了：for循环了3000+次，足足耗时10+秒。。。（一开始的时候没有意识到会有这么多数据）so，how to deal it ???使用Guava缓存Guava缓存网上资料不少，将源码的也多；我个人理解就是放在本地的一个高级点的Map（接触不深，堪堪够满足当前需要）；好比平时我们自己在代码中搞的那些个List或者Map之类的一个作用，就是用来当本地缓存；只不过Guava这个多了很多
2021-03-28 21:51:35
910
原创 Windows重装系统
Windows重装系统注：此次重装系统，只会影响到C盘，其他盘的数据不会动；材料准备：1.需要重装系统的电脑2.一个内存至少4G的U盘（U盘要格式化，所以盘里的东西要备份好）3.安装好软件“韩博士装机大师”开始重装系统：1.电脑插入U盘，启动软件“韩博士装机大师”2.选择下图中的“U盘制作”——>“一键制作启动U盘”，之后就是一些选择系统版本什么，都是凭个人需...
2018-11-18 19:09:26
1978
2
原创 解决方法-新建web工程的时jsp文件报错
【报错描述】新建的web工程，啥也还没有动呢，就报错了。。。报错信息如为jsp页面的 The superclass "javax.servlet.httpServlet" was not found on the Java Build Path:【解决方法】从我贴的上面的图片里就能看出，说什么鬼找不到，然后就去把那个鬼（javax.servlet）复制之后去mavne的依赖仓库里找：地址我贴一下；...
2018-04-05 15:45:02
2638
2
原创 解决方法-VM无法安装iso镜像
【报错描述】 “已将该虚拟机配置位使用64位客户机操作系统。但是，无法执行64位操作” 使用VMware安装iso镜像的时候，报错如下图：【解决方法】重启电脑，在还没有开机的时候就按F2进入BIOS（我的是电脑是LENOVO TIANYI 310，其他的型号的电脑可以自己试一试esc或者F10、F12等，或者直接百度一下自己电脑的型号也能查到的）：然后找打Configuration页，...
2018-04-05 15:31:34
26991
原创 小实验·JavaWeb中前后端的doGet方法和doPost方法的对应关系
小实验·JavaWeb中前后端的doGet方法和doPost方法的对应关系本次小实验验证的问题： 在Javaweb的前端页面提交数据的时候，我们会遇到doGet（）和doPOST（）方法，同时后端的Serverlet也会有doGet（）和doPost（）方法，刚接触的时候，一时也没有搞清楚到底前端的doGet（）方法生效之后，后端是使用doPost（）方法来对接，还是使用与前端同名的doGe...
2018-04-01 12:49:26
4535
原创 Log4j的使用•小实验
Log4j的使用·小实验写在前面：该文章纯属小白文章，适合没有用过log4j但是想从实践入手的同学参考；写本文的动机是之前我在公司做项目的时候，有涉及到log4j（埋点日志），于是打算去网上找点小案例来自己动手模仿一下，但是发现的大多数案例还是不足以被我称之为“入门案例”。所以我就索性自己写一篇了；本文纯属入门。看完这篇文，其余的知识你可以在此基础上去实践；Log4j小实验1.
2018-01-14 14:26:29
226
原创 Java如何获取数据库中的数据·案例
Java如何获取数据库中的数据·案例步骤简介：加载驱动：加载jdbc的驱动类Class.forName("com.mysql.jdbc.Driver")到jvm中。 建立连接：使用DriverManager.getConnection（sql_url,username,pwd）方法返回一个Connection对象。 预编译sql语句：通过Connection.p
2017-09-24 23:06:57
59969
3
TA创建的收藏夹 TA关注的收藏夹
TA关注的人