阿里云服务器【ubuntu】安装hadoop

前提工作

首先必须安装JDK，具体如何安装，可以参考：http://blog.csdn.net/ch717828/article/details/48395245

下载Hadoop

通过命令行下载Hadoop ，我下载的版本是1.2.1，版本稳定且方便学习。

wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-1.2.1/hadoop-1.2.1.tar.gz

下载完成后， 将hadoop安装包转移至要安装的目录

mv hadoop-1.2.1.tar.gz /usr/hadoop/
	 					   cd /usr/hadoop/

解压

 tar -zxvf hadoop-1.2.1.tar.gz

配置Hadoop

配置文件在 hadoop的conf文件夹下

首先修改 hadoop-env.sh 文件

vim hadoop-env.sh

找到  # export JAVA_HOME=…..

修改为  export JAVA_HOME=/usr/java/java8

注意 // 如果忘记java的路径，可以通过命令 echo $JAVA_HOME查看

其次修改 core-site.xml 文件

其实 修改 hadoop-env.sh

vim hadoop-env.sh

修改内容为

	<configuration>
		<property>
			<name>hadoop.tmp.dir</name>
			<value>/hadoop</value>
		</property>
		<property>
			<name>dfs.name.dir</name>
			<value>/hadoop/name</value>
		</property>
		<property>
			<name>fs.default.name</name>
			<value>hdfs://canghong:9000</value>
		</property>		
	</configuration>

然后修改 hdfs-site.xml

<configuration>
		<property>
			<name>dfs.data.dir</name>
			<value>/hadoop/data</value>
		</property>
	</configuration>

最后修改  mapred-site.xml

<configuration>
		<property>
			<name>mapred.job.tracker</name>
			<value>canghong:9001</value>
		</property>
	</configuration>

配置完成后，告诉系统hadoop的安装目录

vim  ~/.bashrc

export HADOOP_HOME=/usr/hadoop/hadoop-1.2.1

在  export PATH 中 加入 HADOOP_HOME

export PATH=${JAVA_HOME}/bin:$HADOOP_HOME/bin:$PATH

测试

在命令行输入  hadoop 

出现

10015 JobTracker
9670 TaskTracker
9485 DataNode
10380 Jps
9574 SecondaryNameNode
9843 NameNode

则表示成功

格式化文件系统

cd  /usr/hadoop/hadoop-1.2.1/bin
hadoop namenode -formate

启动

启动 bin下的 start-all.sh

start-all.sh

测试   

在命令行 输入 jps  查看hadoop是否正常运行