泰山不老生-CSDN博客

原创 Hadoop2.6.0的事件分类与实现

说实在的，在阅读Hadoop YARN的源码之前，我对于java枚举的使用相形见绌。YARN中实现的事件在可读性、可维护性、可扩展性方面的工作都值得借鉴。

2016-04-26 10:45:05 13239 2

原创 Hadoop2.6.0配置参数查看小工具

使用Hadoop进行离线分析或者数据挖掘的工程师，经常会需要对Hadoop集群或者mapreduce作业进行性能调优。性能调优的前提是需要能准确知道目前针对Hadoop集群或者mapreduce作业配置的参数。本文将针对这一需求，基于Hadoop开发一个简单实用的工具查询查看各种参数。

2016-04-21 15:31:50 17632

原创 Hadoop2.6.0子项目hadoop-mapreduce-examples的简单介绍

学习Hadoop的同学们，一定知道如果运行Hadoop自带的各种例子。hadoop-mapreduce-examples项目中还提供了这些例子，本文就其中例子的执行方式进行分析。看看它能否让我们学习mapreduce编程变得更加容易。

2016-04-18 11:41:44 19136

原创 Hadoop2.6.0的FileInputFormat的任务切分原理分析（即如何控制FileInputFormat的map任务数量）

前言首先确保已经搭建好Hadoop集群环境，可以参考《Linux下Hadoop集群环境的搭建》一文的内容。我在测试mapreduce任务时，发现相比于使用Job.setNumReduceTasks(int)控制reduce任务数量而言，控制map任务数量一直是一个困扰我的问题。好在经过很多摸索与实验，终于梳理出来，希望对在工作中进行Hadoop进行性能调优的新人们有个借鉴。本文只针对FileI...

2016-04-12 13:42:17 18615

原创 Linux下Hadoop2.6.0集群环境的搭建

本文旨在提供最基本的，可以用于在生产环境进行Hadoop、HDFS、Hbase分布式环境的搭建，对自己是个总结和整理，也能方便新人学习使用。

2016-04-11 11:50:43 20885 18

原创 Spark如何使用Akka实现进程、节点通信的简明介绍

Akka是一款提供了用于构建高并发的、分布式的、可伸缩的、基于Java虚拟机的消息驱动应用的工具集和运行时环境。从下面Akka官网提供的一段代码示例，可以看出Akka并发编程的简约。

2016-04-05 12:08:44 10251 3

原创 Tomcat7.0源码分析——server.xml文件的加载与解析

作为Java程序员，对于tomcat的server.xml想必都不陌生。本文基于Tomcat7.0的Java源码，对server.xml文件是如何加载和解析进行分析。

2016-04-01 13:05:00 13025 9

原创 Tomcat7.0源码分析——类加载体系

前言Tomcat遵循J2EE规范，实现了Web容器。很多有关web的书籍和文章都离不开对Tomcat的分析，初学者可以从Tomcat的实现对J2EE有更深入的了解。此外，Tomcat还根据Java虚拟机规范实现了经典的双亲委派模式的类加载体系。本文基于Tomcat7.0的Java源码，对其类加载体系进行分析。概述首先简单介绍下Java虚拟机规范中提到的主要类加载器；Bootst

2016-03-28 09:43:06 13765 8

原创 Java泛型的逆变

实验准备在上篇《Java泛型的协变》这篇文章中遗留以下问题：将子类型添加到父类型的泛型时发现，协变不能解决向泛型列表中添加元素的问题，现在我们增加如下代码： /** * * 描述：Exp3使用 * 作者：耿嘉安 * 历史: (版本) 作者时间注释 * @param itemList */ public void doDecorate3(List it

2016-03-22 11:02:39 6161

原创 Spark中常用工具类Utils的简明介绍

Utils是Spark中最常用的工具类之一，如果不关心其实现，也不会对理解Spark有太多影响。但是对于Scala或者Spark的初学者来说，通过了解Utils工具类的实现，也是个不错的入门途径。下面将逐个介绍Utils工具类提供的常用方法。

2016-03-16 14:34:14 9519 2

原创 Java泛型的协变

在上篇《Java泛型的基本使用》这篇文章中遗留以下问题，即将子类型也能添加到父类型的泛型中，要实现这种功能必须借助于协变。实验准备　　现在在上篇文章展示的Decorator类型的基础上，增加一些代码，如代码清单1所示。代码清单1 /** * * 描述：Exp2使用br/> * 作者：jiaan.gja * 历史: (版

2016-03-15 10:12:45 5069 2

原创 SparkContext的初始化（季篇）——测量系统、ContextCleaner等组件介绍

Spark按照Instance的不同，区分为Master、Worker、Application、Driver和Executor。Spark目前提供的Sink有ConsoleSink、CsvSink、JmxSink、MetricsServlet、GraphiteSink等。Spark中使用MetricsServlet作为默认的Sink。MetricsSystem的启动代码如下。

2016-03-08 09:11:51 12600 2

原创 SparkContext的初始化（叔篇）——TaskScheduler的启动

本文主要介绍TaskScheduler的启动过程。包括：创建LocalActor、 ExecutorSource的创建与注册、ExecutorActor的构建与注册、Spark自身ClassLoader的创建及启动Executor的心跳线程。<img src="http://img.blog.csdn.net/20160229134357713?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQv/font/5a6L5L2T/fontsize/400/fill/I0J

2016-02-29 12:28:10 7683 4

原创 JAVA泛型的基本使用

Java1.5版本推出了泛型，虽然这层语法糖给开发人员带来了代码复用性方面的提升，但是这不过是编译器所做的一层语法糖，在真正生成的字节码中，这类信息却被擦除了。笔者发现很多几年开发经验的程序员，依然不善于使用Java泛型，本文将从Java泛型的基本使用入手，在今后的多篇博文里，对泛型的使用做个总结。本文不会深入Java泛型的实现原理，只会介绍Java泛型的使用。实验准备　　首先需要创建一个

2016-02-29 10:40:01 3978

原创 SparkContext的初始化（仲篇）——SparkUI、环境变量及调度

任何系统都需要提供监控功能，用浏览器能访问具有样式及布局，并提供丰富监控数据的页面无疑是一种简单、高效的方式。SparkUI就是这样的服务，它的构成如图3-1所示。

2016-02-23 08:45:46 20403 4

原创 SparkContext的初始化（伯篇）——执行环境与元数据清理器

第3章 SparkContext的初始化“道生一，一生二，二生三，三生万物。”——《道德经》本章导读：SparkContext的初始化是Driver应用程序提交执行的前提，本章内容以local模式为主，并按照代码执行顺序讲解，这将有助于首次接触Spark的读者理解源码。读者朋友如果能边跟踪代码，边学习本章内容，也许是快速理解SparkContext初始化过程的便捷途径。已经熟练使用Sp

2016-02-16 10:41:30 11968 9

原创 Spark设计理念与基本架构

Spark是一个通用的并行计算框架，由加州伯克利大学（UCBerkeley）的AMP实验室开发于2009年，并于2010年开源。2013年成长为Apache旗下为大数据领域最活跃的开源项目之一。Spark也是基于map reduce 算法模式实现的分布式计算框架，拥有Hadoop MapReduce所具有的优点，并且解决了Hadoop MapReduce中的诸多缺陷。

2016-01-22 13:52:31 25193 30

原创《深入理解SPARK：核心思想与源码分析》（第1章）

在深入了解一个系统的原理、实现细节之前，应当先准备好它的源码编译环境、运行环境。如果能在实际环境安装和运行Spark，显然能够提升读者对于Spark的一些感受，对系统能有个大体的印象，有经验的技术人员甚至能够猜出一些Spark采用的编程模型、部署模式等。当你通过一些途径知道了系统的原理之后，难道不会问问自己？这是怎么做到的。如果只是游走于系统使用、原理了解的层面，是永远不可能真正理解整个系统的。很多IDE本身带有调试的功能，每当你阅读源码，陷入重围时，调试能让我们更加理解运行期的系统。如果没有调试功能，不敢

2016-01-15 13:44:24 20719 15

原创《深入理解SPARK：核心思想与源码分析》一书正式出版上市

自己牺牲了7个月的周末和下班空闲时间，通过研究Spark源码和原理，总结整理的《深入理解Spark：核心思想与源码分析》一书现在已经正式出版上市，目前亚马逊、京东、当当、天猫等网站均有销售，欢迎感兴趣的同学购买。京东：http://item.jd.com/11846120.html当当：http://product.dangdang.com/23838168.html

2016-01-11 19:30:58 99998 11

beliefer的博客