自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

coderlaw's study

学习成长,总结反思。

  • 博客(5)
  • 资源 (1)
  • 收藏
  • 关注

原创 Spark性能调优系列目录

Spark性能调优系列目录:普通调优性能调优之在实际项目中分配更多的资源性能调优之在实际项目中调节并行度性能调优之在实际项目中,重构RDD架构以及RDD持久化性能调优之在实际项目中广播大变量性能调优之在实际项目中使用Kryo序列化性能调优之在实际项目中,使用fastutil优化数据格式性能调优之在实际项目中调节数据本地化等待时长jvm调优JVM调优之原理概述 以及降低cache操作

2016-09-19 16:06:09 776

原创 HDFS文件操作FileSystem使用API报错:copyToLocalFile NullPointerException

出错:Exception in thread "main" java.lang.NullPointerException at java.lang.ProcessBuilder.start(Unknown Source) at org.apache.hadoop.util.Shell.runCommand(Shell.java:482) at org.apache.hadoo

2016-09-22 10:31:59 4176 4

原创 Hadoop Maven项目报错:Missing artifact jdk.tools:jdk.tools:jar:1.6

错误:pom.xml报错:Missing artifact jdk.tools:jdk.tools:jar:1.6解决:添加: <dependency> <groupId>jdk.tools</groupId> <artifactId>jdk.tools</artifactId> <version>1.6</version> <scop

2016-09-22 10:20:54 540

原创 Spark性能调优之——在实际项目中重构RDD架构以及RDD持久化

一、导读What?RDD重构和持久化是什么?How?怎么做?Why?为什么要重构或持久化?总结二、RDD重构和持久化是什么?三、怎么做?四、为什么要重构或持久化?4.1 RDD架构重构与优化。尽量去复用RDD,差不多的RDD,可以抽取为一个共同的RDD,供后面的RDD计算时,反复使用。4.2 公共RDD一定要实现持久化。北方吃饺子,现包现煮。 对于多次计算和公共的RDD,一定要进行持久化。 持久

2016-09-22 10:18:54 788

原创 Spark2.0 源码解析系列目录

Spark2.0 源码解析系列SparkContext源码分析 Master源码分析 Worker源码分析 Job源码恩熙 DAGScheduler源码分析 TaskScheduler源码分析 Executor源码分析 Task源码分析 Shuffle源码分析 BlockManager源码分析 CacheManager源码分析 Checkpoint源码分析

2016-09-19 15:55:30 2500

如何做好一个ppt演讲

如何做好一个ppt演讲

2013-06-14

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除