Hadoop集群安装部署---单节点伪分布式

一：linux服务器环境配置

1、设置静态ip（manual）
IP地址：192.168.77.70
子网掩码：255.255.255.0
网关：192.168.77.2

2、修改主机名：
vi /etc/sysconfig/network

3、ip地址与主机名对应：
vi /etc/hosts

**在windows下也要修改（如果在win下用到master和slave01）：

C:\Windows\System32\drivers\etc

4、关闭图形化界面
vi /etc/inittab
将id:5:initdefault:-----> id:3:initdefault:

5、关闭防火墙
service iptables stop
chkconfig iptables off

二：安装jdk

1、用sftp（alt+p）将jdk传入Linux中

2、解压jdk
mkdir /usr/local/apps 创建安装目录
tar -zxvf jdk-7u65-linux-i586.tar.gz -C /usr/local/apps/  解压到安装目录中

3、检查jdk是否存在问题
cd /usr/local/apps/jdk1.7.0_65
bin/java -version （java要小写）

4、修改配置文件
cd /usr/local/apps/jdk1.7.0_65
vi /etc/profile
在最后一行后面添加：
export JAVA_HOME=/usr/local/apps/jdk1.7.0_65
export PATH=$PATH:$JAVA_HOME/bin

5、让配置生效
cd /usr/local/apps/jdk1.7.0_65
source /etc/profile

三：安装hadoop

1、用sftp（alt+p）将hadoop传入Linux中

2、解压hadoop
tar -zxvf hadoop-2.4.1.tar.gz -C /usr/local/apps/

3、修改配置文件
cd /usr/local/apps/hadoop-2.4.1/etc/hadoop

vi hadoop-env.sh
修改JAVA_HOME=jdk安装目录

vi core-site.xml

<configuration>
<property>
<name>fs.default.name</name><!-- namenode的URI -->
<value>hdfs://192.168.77.70:9000/</value>
</property>
<property>
<name>hadoop.tmp.dir</name><!-- Hadoop的默认临时文件存放路径 -->
<value>/usr/local/apps/hadoop-2.4.1/tmp/</value>
</property>
</configuration>

vi hdfs-site.xml

<configuration>
<property>
   <name>dfs.replication</name><!-- 副本个数 -->
   <value>1</value>
</property>
<property>
   <name>dfs.data.dir</name><!--datanode的工作目录  -->
   <value>/usr/local/apps/hadoop-2.4.1/tmp/dfs/data</value>
</property>
<property>
   <name>dfs.name.dir</name><!--namenode的工作目录  -->
   <value>/usr/local/apps/hadoop-2.4.1/tmp/dfs/name</value>
</property>
</configuration>

先将mapred-site.xml.template改为mapred-site.xml
mv mapred-site.xml.template mapred-site.xml

然后vi mapred-site.xml

<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>

vi yarn-site.xml

<configuration>
<!-- Site specific YARN configuration properties -->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>master</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>

vi slaves

（文件 slaves，配置datanode的主机名）

四：启动hadoop

1、格式化namenode
cd /usr/local/apps/hadoop-2.4.1/bin
./hadoop namenode -format

2、无密登录
a、生成密钥对：ssh-keygen
三次回车键（选择默认）

b、ssh-copy-id master

验证是否能无密登录：

登录：ssh master
退出：exit

3、自动化脚本启动

***在任何目录下都能运行下面的命令，需要改下配置文件：

vi /etc/profile

export JAVA_HOME=/usr/local/apps/jdk1.7.0_65
export HADOOP_HOME=/usr/local/apps/hadoop-2.4.1
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

让配置文件生效：source /etc/profile

启动HDFS服务进程：start-dfs.sh

关闭HDFS服务进程： stop-dfs.sh

启动yarn服务进程：start-yarn.sh

关闭yarn服务进程：stop-yarn.sh

启动所有服务：start-all.sh

关闭所有服务：stop-all.sh

查看服务进程是否启动：jps（Java命令）

HDFS控制平台：

http://ip地址50070/

如，http://192.168.77.70:50070/

Yarn控制平台

ip地址:8080

如，192.168.77.70:8088