Linux环境下Hadoop 2.7.7安装和样例运行

Hadoop 2.7.7单机模式安装

查看jdk版本

java -version

在Hadoop网站上下载hadoop-2.7.7.tar.gz压缩包，解压到/usr/local/目录下

sudo tar -zxf hadoop-2.7.7.tar.gz -C /usr/local/

将Hadoop解压出的文件夹改名成hadoop：

sudo mv hadoop-2.7.7 hadoop

使用以下命令查看hadoop版本，若出现则单机模式已安装成功：

cd /usr/local/hadoop
./bin/hadoop version

Hadoop 2.7.7伪分布式配置

Hadoop 的配置文件位于 /usr/local/hadoop/etc/hadoop/ 中.
需要修改2个配置文件 core-site.xml 和 hdfs-site.xml
core-site.xml用于配置hdfs端口和地址，临时文件存放地址，在该文件中添加如下代码保存并退出：

<configuration>
		<property>
				//指定执行hadoop时数据存放的目录
				<name>hadoop.tmp.dir</name>
				<value>file:/usr/local/hadoop/tmp</value>
				<description>Abase for other temporary directories.</description>
		</property>
		<property>
				//指定HDFS中的主节点，namemode地址
				<name>fs.defaultFS</name>
				<value>hdfs://localhost:9000</value>
		</property>
</configuration>

hdfs-site.xml用于配置HDFS组件属性，副本个数及数据存放的路径，在该文件中添加如下代码，保存并退出：

<configuration>
		<property>
				//副本个数，伪分布式下设置为1，默认值为3
				<name>dfs.replication</name>        
				<value>1</value> 
		</property>
		<property>
				<name>dfs.namenode.name.dir</name>
				<value>file:/usr/local/hadoop/tmp/dfs/name</value>
		</property>
		<property>
				<name>dfs.datanode.data.dir</name>
				<value>file:/usr/local/hadoop/tmp/dfs/data</value>
		</property>
</configuration>

格式化namenode：

hadoop namenode -format

启动hadoop：

cd /usr/local/hadoop
./sbin/start-all.sh

验证各个组件是否启动成功，执行：

jsp

启动成功一共有以下五个进程：
NameNode
DataNode
SecondaryNameNode
ResourceManager
NodeManager

Hadoop运行样例

调用mapreduce示例程序的wordcount命令行程序，完成input目录内所有文件，并将结果输出到新的output目录，并显示程序输出结果：

cd /usr/local/hadoop
./bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar wordcount input output
./bin/hdfs dfs -cat output/*