sherld-CSDN博客

原创 Hadoop 2.6.0 Configuration源码分析

Hadoop 2.6.0 Configuration源码分析

2015-04-03 17:04:20 591

原创 java Unsafe类中compareAndSwap相关介绍

最近在看jdk7中java.util.concurrent下面的源码中，发现许多类中使用了Unsafe类中的方法来保证并发的安全性，而java 7 api中并没有这个类的相关介绍，在网上查了许多资料，其中http://ifeve.com/sun-misc-unsafe/这个网站详细的讲解了Unsafe的相关用法，而下面是结合网站中的介绍和具体的AtomicInteger类来讲解一下其相关的用法。p

2015-01-07 14:33:33 27607 3

原创 HBase 0.94.26 分布式安装

整个环境运行在vmware虚拟机下面，我使用的linux系统为centos6.5，本文是基于hadoop的hbase的安装过程，所以在安装Hbase之前确保hadoop集群已经搭载完毕三台虚拟机环境节点ip主机名192.168.136.101mdw/master192.168.136.102sdw1/slave1192.168

2015-01-02 16:50:19 546

原创 MapReduce应用开发倒排索引以及打包在linux下运行

下面是一个简单的利用mapreduce进行倒排索引的开发1.Mapper主要分割原始数据以被叫作为KEY以主叫作为VALUE2.Reducer拥有相同被叫的主叫号码的一个集合把主叫号码汇总输出倒排索引数据信息算法实现import java.io.IOException;import org.apache.hadoop.conf.Configurati

2014-12-31 16:23:04 631

原创 MapReduce应用开发简单筛选日志

利用hadoop eclipse插件可以方便的开发MapReduce程序，下面是一个简单的提取日志信息的示例，主要将日志中第一列、第二列和第六列中的信息提取出来，在代码中主要开发map的程序，reduce的使用hadoop的默认程序

2014-12-30 20:21:25 790

转载 hadoop 1.2.1 eclipse 插件安装步骤

之前在Centos配置eclipse的Hadoop插件时，在最后一步使用ant命令会卡在运行过程中，或者报错，参考了网上的的编译过程之后，最后终于也是成功配置好了，这里是参考的链接地址http://kangfoo.u.qiniudn.com/article/2013/12/hadoop-eclipse-plugin-1.2.1/，以下内容是根据原文作者的步骤，加上自己在安装过程中的一些补充。e

2014-12-29 21:22:37 692