Spark2.0 + Hadoop2.7.2 + Centos7 集群部署<一>

Centos7 集群部署 到官网下载 virtualbox安装文件 https://www.virtualbox.org/wiki/Downloads到官网下载centos7镜像文件  http://isoredirect.centos.org/centos/7/isos/x8...

2016-09-18 22:37:00

阅读数 1348

评论数 0

Spring beanFactory简介

beanFactory 是spring IoC中一个最基本的容器,位于继承图最顶端的一个接口。spring IoC容器的接口/类设计图如下所示(注:该图只包含部分接口或子类):     图 1.1(图片来源于http://www.pinhuba.com/spring/101250.htm)    ...

2016-08-21 16:17:23

阅读数 239

评论数 0

创建Executor

当sparkContext被创建后,worker就会分配executor,这个过程如下图所示:         如上图所示,executor要经过很多个步骤才会被创建。 SparkContext中有一个叫做createTaskScheduler()的函数,这个函数会根据master U...

2016-06-27 23:42:12

阅读数 274

评论数 0

DAGScheduler 源码走读

要理解DAGScheduler,首先就得了解RDD的生命周期。RDD是什么?且看它的全称 Resilient Distributed Datasets,弹性式分布数据集。没错,一个RDD就是一个数据集,而且这个数据集自带了很多方法,这些方法可分为两种:transformation 和 action。

2016-06-15 21:02:46

阅读数 261

评论数 0

深入理解RDD

RDD最基本的五个特征         RDD 即 Resilient Distributes Dataset, 是spark中最基础、最常用的数据结构。其本质是把input source 进行封装,封装之后的数据结构就是RDD,提供了一系列操作,比如 map、flatMap、filter等...

2016-06-06 00:06:05

阅读数 8629

评论数 0

Maven编译报permGen错,解决办法之一

终端输入export MAVEN_OPTS="-Xmx2g -XX:MaxPermSize=512M -XX:ReservedCodeCacheSize=512m"

2015-04-11 11:11:07

阅读数 514

评论数 0

Mac 10.10.2编译Hadoop-2.6.0-src

楼主写过一篇博客《Ubuntu14.04 编译 hadoop2.6.0源码以及把源码导入eclipse》 ,基于这篇文章以及网上其他博主的博客,我在Mac 10.10.2上面编译Hadoop-2.6.0-src,着实吃了不少麻烦。我各种换maven版本和jdk版本,不管怎么换依旧报错default...

2015-04-07 18:17:59

阅读数 380

评论数 0

Ubuntu14.04 编译 hadoop2.6.0源码以及把源码导入eclipse

1.下载源码http://mirrors.hust.edu.cn/apache/hadoop/common/hadoop-2.6/ 2.编译环境准备: * JDK 1.7(楼主试过JDK1.8,编译会报错) * Maven 3.1.1  * Findbugs 1.3.9 * Protocol...

2015-01-26 22:22:00

阅读数 1044

评论数 0

提示
确定要删除当前文章?
取消 删除