Hadoop的安装总结

1硬件需求

内存容量：4G以上
硬盘容量：500G以上
CPU ：4核以上

2 软件需求

操作系统
方案一：操作系统：Linux，建议ubuntu 16.04
方案二： 操作系统：Windows64位，建议windows7 64位
虚拟机：建议VMware Workstation Pro
其他软件： JAVA：jdk1.7以上，建议1.8版本
Eclipse
Hadoop：建议2.7.4
Hbase:建议1.3版本

3 软件安装

将JAVA、Eclipse、Hadoop、(Hbase可以后期安装)的解压版copy到目录
/home/hadoop/apps
并分别建目录：

		/home/hadoop/apps/jdk	
		/home/hadoop/apps/ Eclipse		
		/home/hadoop/apps/ Hadoop		
		/home/hadoop/apps/Hbase

4 操作系统ubuntu 16.04环境变量设置

打开命令行窗口terminal:
快捷键：
Ctrl+Alt+T
编辑用户启动所需文件bashrc
命令
$ gedit ~/.bashrc
内容如下：

		export JAVA_HOME=/home/hadoop/apps/jdk
		export JRE_HOME=${JAVA_HOME}/jre
		export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
		export PATH=$JAVA_HOME/bin:$PATH	
		export HADOOP_HOME=/home/hadoop/apps/hadoop
		export PATH=$HADOOP_HOME/bin:$PATH

执行用户启动所需文件bashrc
命令

$source ~/.bashrc

查看

$java –version		$hadoop version

5 编辑Hadoop启动所需文件core-site.xml

core-site.xml位置：
home/apps/hadoop/etc/hadoopcore-site.xml增加内容：

<configuration>		
<property>			
	<name>hadoop.tmp.dir</name>
	<value>file:/home/hadoop/apps/hadoop/tmp
	</value>
	<description>
	Abase for other temporary directories.
	</description>		
	</property>		
	<property>			
	<name>fs.defaultFS</name>			
	<value>hdfs://localhost:9000</value>
</property>
</configuration>

6 编辑Hadoop启动所需文件hdfs-site.xml

hdfs-site.xml位置：home/apps/hadoop/etc/hadoophdfs-site.xml
增加内容：

<configuration>	
	<property>		
		<name>dfs.replication</name>	
		<value>1</value>	
	</property>	
		<property>		
	 <name>dfs.namenode.name.dir</name>	
	 <value>file:/home/hadoop/apps/hadoop/tmp/dfs/name</value>	
		</property>		
		<property>		
	<name>dfs.datanode.data.dir</name>		
	<value>file:/home/hadoop/apps/hadoop/tmp/dfs/data</value>	
		</property>
	</configuration>

7 SSH的安装与配置

关闭防火墙
处理可能出现的异常ssh:connect to host localhost port 22:Connection refused

$sudo ufw disable 

安装 openssh-server

	   	 $sudo apt-get update		
		 $sudo apt-get install openssh-server
		 $SSH IP

配置SSH无密码登录

		$ssh-keygen -t rsa -P ''
		$cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
		$ssh localhost

8 启动Hadoop

格式化namenode

$bin/hadoop namenode -format

启动Hadoop节点
启动 $sbin/start-all.sh
显示 $jps

出现如图所示内容，则说明安装成功！！！