![](https://img-blog.csdnimg.cn/20201014180756757.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Java
文章平均质量分 65
guohaodong1024
2的10次方
展开
-
【大数据】HDFS Java API按行读取
HDFS Java API按行读取前言翻译自stackoverflow一回答1方法public void test() throws Exception { Path path = new Path("hdfs://pathToFile"); FileSystem fs = FileSystem.get(context.getConfiguration); BufferedReade...翻译 2018-10-23 16:45:47 · 2404 阅读 · 0 评论 -
【算法】B树的Java源码实现及Princeton版本源码理解
2019.02.24文章目录前言Princeton版本源码理解基于Princeton的修改版本前言想在业余时间做个小工具,设计是不使用数据库,而是用文件系统来存储数据。为了减少文件打开次数,提高索引效率,用B树构建内存索引。B的原理就不介绍了,提供如下链接供扩展阅读:Princeton算法课程slide:https://www.cs.princeton.edu/~rs/AlgsDS0...原创 2019-02-26 23:02:38 · 360 阅读 · 0 评论 -
【语言】Java 8新特性总结
2018.12.02文章目录前言Lambda表达式语法引用变量方法引用语法函数式接口默认方法前言Java 8对Java而言具有重要意义,得益于它所带来的新特性,使得Java重新焕发生机。本文翻译整理自一博客1。Java 8包含如下新特性:Lambda表达式方法引用默认方法新的Stream APIOptional新的Date/Time APINarshorn,新的JS引擎...原创 2019-01-17 17:17:33 · 209 阅读 · 0 评论 -
【语言】Java: 获取jar包中某个类的serialVersionUID(序列版本id)
2018.11.02文章目录前言方法前言在《序列化及Java Serializable序列化接口》一文,我介绍了一个case:一个已上线的版本中包含了未定义serialVersionUID序列版本id的类。本文就会讲述这类问题上笔者的解决方法,仅供参考。方法这个问题的关键是,如何保证下一个上线版本能正确地将已存储的类实例正确反序列化出来。首先JVM是不支持对serialVersion...原创 2018-11-02 22:05:48 · 1941 阅读 · 0 评论 -
【语言】序列化及Java Serializable序列化接口
2018.11.02文章目录前言Hello,序列化`Serializable`:不能忽视的你前言某项目新版本上线,新版本中添加了A类,而A类最终会通过ObjectOutputStream#writeObject方法1序列化到HDFS中。而在上线完成之后才发现实现了Serializable序列化接口的A类并没有定义serialVersionUID,换言之,如果下次上线的版本A类发生了修改,...原创 2018-11-02 21:41:36 · 440 阅读 · 0 评论 -
【软件工程】Maven: 创建Java/Scala混编项目
2018.11.02文章目录前言方法前言项目需求改变,需要开发Spark应用,而原项目是基于Java开发的,所以就需要原项目能支持Java/Scala混编。原项目采用的是Maven项目管理工具,编辑器是IDEA。方法本方法基于已存在的Maven项目,未创建Maven项目的可使用mvn archetype:generate创建一个新项目:在pom.xml中添加scala-maven...原创 2018-11-02 16:56:59 · 358 阅读 · 1 评论 -
【Caused by】declares multiple JSON fields
Caused by: declares multiple JSON fields2018.10.31前言某项目已上线的版本中,将ChildA类的实例通过ObjectOutputStream#writeObject12进行序列化并写入HDFS中;而后某个版本中,由于未采用继承的方法,该模块的开发者将功能等价的ChildB类和ChildA作为属性封装到TempParent类中。为了兼容两个版...原创 2018-10-31 20:26:11 · 380 阅读 · 0 评论 -
【Caused by】No FileSystem for scheme: file
Caused by: No FileSystem for scheme: file2018.10.26前言某项目使用HDFS Java API操作HDFS,常用操作如put、getMerge等,但一旦涉及到本地文件系统和HDFS间的上传下载,就会报错,在StackOverflow上找到了解决方法1。方法这是一个典型的maven-assembly-plugin所导致的问题。不同的Jar...翻译 2018-10-26 19:29:28 · 278 阅读 · 0 评论 -
【大数据】HDFS Java API配置用户(远程用户)
HDFS Java API配置用户(远程用户)2018.010.26前言某项目使用HDFS Java API操作HDFS,但在本地机器运行单元测试时发现会出现permission denied的问题,原因是该单元测试是直接操作HDFS集群,而本地运行单测时默认会使用本地机器的登录用户去操作HDFS。为了保证单测在不同机器上运行结果一致,就需要在配置HDFS时设置集群环境中的远程用户。方...原创 2018-10-26 19:09:11 · 2489 阅读 · 0 评论 -
【语言】Java线程池简介
Java线程池简介2018.10.29前言并发问题是项目开发中的常见问题,Java的java.util.concurrent包提供了许多可靠、实用的工具给开发者。粗略地看了文档和代码,决定写下这篇简介,但是出于时间成本的考虑,本文未涵盖代码案例及测试分析等内容。万恶之源的Executor接口下图是Executor接口及其相关接口、类的UML图1。Executor作为最顶层的接口,顾名...原创 2018-10-29 18:57:52 · 142 阅读 · 0 评论 -
【框架】利用JPA的JOIN FETCH读取FetchType.LAZY成员
2019.04.07文章目录前言原理方案事务@TransactionalJOIN FETCH场景一:@Query或Native SQL场景二:JPA Criteria API或Spring Specification API@NamedEntityGraph@FetchProfile前言Spring+Hibernate的项目,里面大量用到FetchType.LAZY,懒加载实体成员。新需...原创 2019-04-07 21:08:15 · 5890 阅读 · 1 评论