2020年05月_Yore Yuen

12月 10月 08月 07月 05月 04月 03月

原创 DataX HdfsReader 源码分析，及空文件 Bug修复和路径正则功能增强

本文主要在源码层面介绍了 DataX hdfsreader 模块，针对实际生产环境中出现的两个问题，一个是当用普通方式在 json 中指定 path 时，改文件夹下存在空文件时异常；以及当使用正则方式指定 path 时当前仅支持单字符和多字符，而直接使用字符集或者范围时会报错。针对这两个 Bug 在源码层面上进行了修复。

2020-05-22 21:33:23 3489 3

原创 DataX Transformer从入口到加载的源码分析及UDF扩展与使用

本文重点介绍了阿里的开源异构数据离线同步工具 DataX中的 Transformer 组件的源码分析，及自定义扩展和使用，其中为了更好的使用 Transformer UDF 又对这部分的源码从入口到加载的整个过程进行分析。本文以解密为示例，详细介绍了 DataX Transformer 中的 UDF 的使用和自定义扩展。

2020-05-20 22:00:04 3714 1

原创 aarch64架构（ARMv8）系统环境下编译 Ambari

本文主要介绍了在 aarch64架构系统（ARM v8）下的 Ambari和 HDP的移植，重点对 Ambari 的编译及中间出现的问题的解决方法，并提供了最终的华为官方的镜像资源包的下载连接。

2020-05-20 19:02:28 8385 22

hbase-meta-repair-hbase-2.0.2.jar

HBase 元数据修复工具包。 ①修改 jar 包中的application.properties，重点是 zookeeper.address、zookeeper.nodeParent、hdfs.root.dir配置项，hdfs 最好写 ip； ②将core-site.xml、hdfs-site.xml添加到BOOT-INF/classes 下； ③开始修复 `java -jar -Drepair.tableName=表名 hbase-meta-repair-hbase-2.0.2.jar`

2020-12-16

orc-tools-1.7.0-SNAPSHOT-uber.jar

基于 Apache ORC 最新分支1.7源码编译的 orc-tools-1.7.0-SNAPSHOT-uber.jar，主要为 ORC 的一个 Java 工具包，工具使用文档可以看到官方文档https://orc.apache.org/docs/java-tools.html，支持 meta、data、scan、convert、json-schema命令。

2020-11-06

The Part-Time Parliament.zip

资料中包含了论文的英文原文、论文的中文翻译——经过我的校验和重新翻译（pdf版和docx版）。该论文主要是Leslie Lamport在1998年发表的一篇论文The Part-Time Parliament，在这篇论文Lamport介绍了一种全新的数据一致性算法——Paxos算法，是研究计算机科学非常值得读的一篇论文，尤其是大数据中的分布式数据一致性的问题。

2019-09-23

x-pack-core-6.8.0-SNAPSHOT.jar

基于Elasticsearch 6.8.0源码编译而得，主要修改了其中的org.elasticsearch.license.LicenseVerifier.java类和org.elasticsearch.xpack.core.XPackBuild.java类，对x-pack/plugin/core模块代码重新编译而成，可适用于es 6.8.x版本，其它版本未验证。使用时直接替换es安装文件夹下的 modules/x-pack-core/x-pack-core-6.8.x.jar包即可

2019-08-04

tomcat-redis-session-manager的jar包-包含Tomcat7和Tomcat8

基于tomcat-redis-session-manager源码进行的编译生成的jar包，压缩包中包含Tomcat7和Tomcat8打好的jar包。

2018-06-28

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人