- 博客(5)
- 资源 (1)
- 收藏
- 关注
RSS订阅
原创 Spark性能调优系列目录
Spark性能调优系列目录：普通调优性能调优之在实际项目中分配更多的资源性能调优之在实际项目中调节并行度性能调优之在实际项目中，重构RDD架构以及RDD持久化性能调优之在实际项目中广播大变量性能调优之在实际项目中使用Kryo序列化性能调优之在实际项目中，使用fastutil优化数据格式性能调优之在实际项目中调节数据本地化等待时长jvm调优JVM调优之原理概述 以及降低cache操作
2016-09-19 16:06:09
776
原创 HDFS文件操作FileSystem使用API报错：copyToLocalFile NullPointerException
出错：Exception in thread "main" java.lang.NullPointerException at java.lang.ProcessBuilder.start(Unknown Source) at org.apache.hadoop.util.Shell.runCommand(Shell.java:482) at org.apache.hadoo
2016-09-22 10:31:59
4176
4
原创 Hadoop Maven项目报错：Missing artifact jdk.tools:jdk.tools:jar:1.6
错误：pom.xml报错：Missing artifact jdk.tools:jdk.tools:jar:1.6解决：添加： <dependency> <groupId>jdk.tools</groupId> <artifactId>jdk.tools</artifactId> <version>1.6</version> <scop
2016-09-22 10:20:54
540
原创 Spark性能调优之——在实际项目中重构RDD架构以及RDD持久化
一、导读What？RDD重构和持久化是什么？How？怎么做？Why？为什么要重构或持久化？总结二、RDD重构和持久化是什么？三、怎么做？四、为什么要重构或持久化？4.1 RDD架构重构与优化。尽量去复用RDD，差不多的RDD，可以抽取为一个共同的RDD，供后面的RDD计算时，反复使用。4.2 公共RDD一定要实现持久化。北方吃饺子，现包现煮。 对于多次计算和公共的RDD，一定要进行持久化。 持久
2016-09-22 10:18:54
788
原创 Spark2.0 源码解析系列目录
Spark2.0 源码解析系列SparkContext源码分析 Master源码分析 Worker源码分析 Job源码恩熙 DAGScheduler源码分析 TaskScheduler源码分析 Executor源码分析 Task源码分析 Shuffle源码分析 BlockManager源码分析 CacheManager源码分析 Checkpoint源码分析
2016-09-19 15:55:30
2500
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人