Hadoop安装及开发

Hadoop安装

安装环境

本人开发用的电脑操作系统是ubuntu14.04 64位，因此本文讲述的是Hadoop在ubuntu14.0464bit系统下的安装，实际上Hadoop目前也只支持Linux系统。有人号称在Windows下成功安装了Hadoop，我是没有见过。

新建用户

首先要为Hadoop的安装创建一个新用户：

sudouseradd -d /home/hadoop -m hadoop

sudopasswd hadoop

输入hadoop用户的密码，两次

为hadoop用户增加管理员权限，方便部署：

sudoadduser hadoop sudo

配置SSH免密码登录

Hadoop的伪分布模式启动时需要SSH登录本机，因此我们先设置SSH登录本机免密码：

cd~/.ssh/

如果hadoop用户的家目录下没有.ssh/目录，则先执行一次sshlocalhost

ssh-keygen-t rsa

所有提示都按回车

cat./id_rsa.pub >> ./authorized_keys

安装Java环境

Hadoop需要Java环境，至少需要JDK1.7,Java环境的安装和配置请自行百度。

Hadoop下载和安装

Hadoop2 可以在http://mirror.bit.edu.cn/apache/hadoop/common/或者http://mirrors.cnnic.cn/apache/hadoop/common/下载，一般下载 “stable”下的 hadoop-2.x.y.tar.gz这个文件，这是Hadoop的稳定版本。

下载Hadoop后解压到/usr/local目录下：

sudotar -zvxf hadoop-2.6.0.tar.gz -C /usr/local

cd/usr/local/sudo mv ./hadoop-2.6.0/ ./hadoop #将文件夹名改为hadoop

sudochown -R hadoop ./hadoop # 修改文件权限

Hadoop伪分布模式配置

开发用的Hadoop需要配置成单机模式或伪分布模式，为了开发和调试方便，我们将Hadoop配置成伪分布模式：

修改配置文件 core-site.xml

<configuration>

<property>

<name>hadoop.tmp.dir</name>

<value>file:/usr/local/hadoop/tmp</value>

<description>Abasefor other temporary directories.</description>

</property>

<property>

<name>fs.defaultFS</name>

<value>hdfs://localhost:9000</value>

</property>

</configuration>

修改配置文件 hdfs-site.xml

<configuration>

<property>

<name>dfs.replication</name>

<value>1</value>

</property>

<property>

<name>dfs.namenode.name.dir</name>

<value>file:/usr/local/hadoop/tmp/dfs/name</value>

</property>

<property>

<name>dfs.datanode.data.dir</name>

<value>file:/usr/local/hadoop/tmp/dfs/data</value>

</property>

</configuration>

Hadoop启动和停止

配置完成后，执行 NameNode的格式化：

./bin/hdfsnamenode -format

开启 NameNode和 DataNode守护进程：

./sbin/start-dfs.sh

如果这一步出现localhost:Error: JAVA_HOME is not set错误，则打开/usr/local/hadoop/etc/hadoop目录下的hadoop-env.sh文件，将其中

exportJAVA_HOME=${JAVA_HOME}

改为

exportJAVA_HOME=/usr/local/java/jdk1.7.0_79

启动完成后，可以通过命令 jps来判断是否成功启动，若成功启动则会列出如下进程:“NameNode”、”DataNode”和 “SecondaryNameNode”

运行 sbin/stop-dfs.sh可以关闭Hadoop守护进程。

Hadoop开发

Hadoop开发所需的jar包

将以下jar包拷贝到Java项目的lib目录下：

hadoop-2.x.x\share\hadoop\common 所有jar，

hadoop-2.x.x\share\hadoop\common\lib 所有jar，

hadoop-2.x.x\share\hadoop\hdfs 所有jar

hadoop-2.x.x\share\hadoop\mapreduce 所有jar

hadoop-2.x.x\share\hadoop\yarn 所有jar

一段典型的Hadoop程序

importjava.io.IOException;

importjava.util.Iterator;

importorg.apache.hadoop.conf.Configuration;

importorg.apache.hadoop.conf.Configured;

importorg.apache.hadoop.fs.Path;

importorg.apache.hadoop.io.Text;

importorg.apache.hadoop.mapred.FileInputFormat;

importorg.apache.hadoop.mapred.FileOutputFormat;

importorg.apache.hadoop.mapred.JobClient;

importorg.apache.hadoop.mapred.JobConf;

importorg.apache.hadoop.mapred.KeyValueTextInputFormat;

importorg.apache.hadoop.mapred.MapReduceBase;

importorg.apache.hadoop.mapred.Mapper;

importorg.apache.hadoop.mapred.OutputCollector;

importorg.apache.hadoop.mapred.Reducer;

importorg.apache.hadoop.mapred.Reporter;

importorg.apache.hadoop.mapred.TextOutputFormat;

importorg.apache.hadoop.util.Tool;

importorg.apache.hadoop.util.ToolRunner;

/**

*典型的Hadoop的job继承org.apache.hadoop.conf.Configured类，实现

*org.apache.hadoop.util.Tool接口

*@author zyl

*@date 2016年4月30日上午10:45:53

*@version

*@since

*/

publicclass SampleJob extends Configured implements Tool {

publicstatic class MapClass extends MapReduceBase implements Mapper<Text,Text, Text, Text> {

@Override

publicvoid map(Text key, Text value, OutputCollector<Text, Text>output, Reporter reporter)

throwsIOException {

//Map过程很简单，将文件的key和value调换后输出

output.collect(value,key);

}

}

publicstatic class Reduce extends MapReduceBase implements Reducer<Text,Text, Text, Text> {

@Override

publicvoid reduce(Text key, Iterator<Text> values,OutputCollector<Text, Text> output, Reporter reproter)

throwsIOException {

//将同一key的所有value的列表转换成用逗号分隔的一行字符串

Stringcsv = "";

while(values.hasNext()) {

if(csv.length() > 0) {

csv+= ",";

}

csv+= values.next().toString();

}

output.collect(key,new Text(csv));

}

}

/*

* (non-Javadoc)

*

* @see org.apache.hadoop.util.Tool#run(java.lang.String[])

*/

@Override

publicint run(String[] arg0) throws Exception {

Configurationconf = getConf();

JobConfjob = new JobConf(conf, SampleJob.class);

//第一个参数是输入文件在Hadoop中存储的路径

Pathin = new Path(arg0[0]);

//第二个参数是输出参数将在Hadoop中存储的目录，注意：这里指定的是目录，不是文件名

Pathout = new Path(arg0[1]);

FileInputFormat.setInputPaths(job,in);

FileOutputFormat.setOutputPath(job,out);

//指定Hadoop要执行的任务名称，用于处理Map和Reduce的类

job.setJobName("SampleJob");

job.setMapperClass(MapClass.class);

job.setReducerClass(Reduce.class);

job.setInputFormat(KeyValueTextInputFormat.class);

job.setOutputFormat(TextOutputFormat.class);

job.setOutputKeyClass(Text.class);

job.setOutputValueClass(Text.class);

//指定输入文件的分隔符，如不指定，默认的分隔符是制表符（tab）

job.set("key.value.separator.in.input.line",",");

JobClient.runJob(job);

return0;

}

/**

* @param args

*/

publicstatic void main(String[] args) {

intres = -1;

try{

res= ToolRunner.run(new Configuration(), new SampleJob(), args);

}catch (Exception e) {

//TODO Auto-generated catch block

e.printStackTrace();

}

System.exit(res);

}

}

执行Hadoop程序

将本地文件系统中的文件拷贝到Hadoop的分布式文件系统（HDFS）下：

./bin/hadoopfs -put cite75_99.txt input/cite75_99.txt

其中input目录位于HDFS的默认路径/user/hadoop下，/user/hadoop目录开始是不存在的，要用Hadoop命令来创建：

./bin/hadoopfs -mkdir /user

./bin/hadoopfs -mkdir /user/hadoop

/user/hadoop一经创建就成为HDFS的默认路径，凡未指明全路径（hdfs://localhost:9000/user/chuck这种形式的URI）的路径默认都是相对于/user/hadoop目录。

执行Hadoop程序：

./bin/hadoopjar ./ubin/hadoop-sample.jar SampleClass input/cite75_99.txtoutput/cite_out

其中 hadoop-sample.jar是把Hadoop程序打包成jar文件。