- 博客(2)
- 资源 (6)
- 收藏
- 关注
RSS订阅原创 SparkPi源码分析--包含对新安装的Spark集群的测试
一、Spark集群的测试当我们安装好Spark后，需要对Spark做一些测试，看新安装的Spark集群是否可以使用，这个时候有如下几种方法验证和测试：①使用jps命令查看下进程，在主节点上org.apache.spark.deploy.master.Master进程会启动，从节点上则会启动org.apache.spark.deploy.worker.Worker进程，如果启动了histor...
2018-07-22 18:43:19
677
原创 Spark 2.1.2 Streaming + Kafka 1.1.0 -- 在IDEA中通过Maven创建Spark项目
一、开发环境中需要安装和配置如下安装JDK，配置JDK环境变量(jdk1.8) 安装Scala，配置JDK环境变量(scala2.11.8) 最好安装一个Maven,虽然Idea已经集成自带的有Maven 测试环境中已经安装有Zookeeper集群，Kafka需要用到（3.4.5） 测试环境中已经安装有Kafka集群（1.1.0） 测试环境中已经安装有Spark集群（2.1.2...
2018-07-22 06:27:22
3428
hbase-meta-repair-hbase-2.0.2.jar
HBase 元数据修复工具包。
①修改 jar 包中的application.properties，重点是 zookeeper.address、zookeeper.nodeParent、hdfs.root.dir配置项，hdfs 最好写 ip；
②将core-site.xml、hdfs-site.xml添加到BOOT-INF/classes 下；
③开始修复 `java -jar -Drepair.tableName=表名 hbase-meta-repair-hbase-2.0.2.jar`
2020-12-16
orc-tools-1.7.0-SNAPSHOT-uber.jar
基于 Apache ORC 最新分支1.7源码编译的 orc-tools-1.7.0-SNAPSHOT-uber.jar，主要为 ORC 的 一个 Java 工具包，工具使用文档可以看到官方文档https://orc.apache.org/docs/java-tools.html，支持 meta、data、scan、convert、json-schema命令。
2020-11-06
The Part-Time Parliament.zip
资料中包含了论文的英文原文、论文的中文翻译——经过我的校验和重新翻译（pdf版和docx版）。该论文主要是Leslie Lamport在1998年发表的一篇论文The Part-Time Parliament，在这篇论文Lamport介绍了一种全新的数据一致性算法——Paxos算法，是研究计算机科学非常值得读的一篇论文，尤其是大数据中的分布式数据一致性的问题。
2019-09-23
x-pack-core-6.8.0-SNAPSHOT.jar
基于Elasticsearch 6.8.0源码编译而得，主要修改了其中的org.elasticsearch.license.LicenseVerifier.java类和org.elasticsearch.xpack.core.XPackBuild.java类，对x-pack/plugin/core模块代码重新编译而成，可适用于es 6.8.x版本，其它版本未验证。使用时直接替换es安装文件夹下的 modules/x-pack-core/x-pack-core-6.8.x.jar包即可
2019-08-04
tomcat-redis-session-manager的jar包-包含Tomcat7和Tomcat8
基于tomcat-redis-session-manager源码进行的编译生成的jar包，压缩包中包含Tomcat7和Tomcat8打好的jar包。
2018-06-28
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人