-
查看IP地址,设为手动模式:
-
配置hadoop用户sudo权限
su切换到root身份,配置vim /etc/sudoers文件,加入
hadoop ALL=(root)NOPASSWD:ALL
-
配置/opt文件夹的属主
将/opt文件夹的属于由root:root改为hadoop
sudo -R hadoop:hadoop /opt
-
关闭防火墙和禁用SELinux
# service iptables stop
# vim /etc/sysconfig/selinux 设置 SELINUX=disabled
-
查看(确认一下可省略)静态IP地址
# vi /etc/sysconfig/network-scripts/ifcfg-eth0
-
修改HostName
# hostname hadoop-master ##重启失效
# vi /etc/sysconfig/network ##永远有效
-
IP与Hostname绑定
# vi /etc/hosts
-
修改windows操作系统的hosts文件
Càwindowsàsystem32àdriversàetcàhosts添加如下内容;
-
设置SSH自动登录 —— 所有守护进程彼此通过SSH协议进行通信,无密码登录
1)$ ssh-keygen -t rsa ##在/home/hadoop目录下
2)$ cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys
3)$ping localhost
$ping hadoop-master
$ping hadoop-master.dragon.org
$ping 192.168.38.180
-
准备工作
在/opt文件夹下创建文件夹如下;
本课程软件安装的规则:
/opt --- 父目录
/opt/modules -- 存放软件的安装目录
/opt/softwares -- 存放软件包(tar 包,bin 文件,zip 文件等)
/opt/tools -- 存储工具目录(Eclipse 等)
/opt/data -- 存储一些测试数据
/home/hadoop -- 存储工具盒测数据目录
-
安装JDK
1) 安装jdk之前要先卸载以前的版本,防止出现其他问题
rpm -qa|grep jdk ##查找安装的jdk
rpm -e --nodeps 【查找到的内容】
2)安装
直接将.tar.gz格式的jdk-x64文件在/opt/modules中解压就行了
配置环境变量 vim /etc/profile
-
Apache Hadoop伪分布模式安装
$ tar -zxvf hadoop-1.2.1.tar.gz
设置环境变量/etc/profile 增加内容如下:
export HADOOP_HOME=/opt/modules/ hadoop-1.2.1
export PATH=.:$HADOOP_HOME/bin:$PATH
使设置生效
# source /etc/profile
修改Hadoop中conf目录下的hadoop-env.sh文件,将Java的路径改为安装的路径
-
修改conf目录下的配置文件(使用UltraExit操作)
-
hadoop-env.sh
上面已经修改
-
core-site.xml
-
hdfs-site.xml
-
mapred-site.xml
-
格式化
$ hadoop namenode -format
-
-
至此已经配置完成下面启动五大守护进程
在hadoop*安装目录中的bin目录下运行
$start-all.sh
查看启动结果:
-
在Google浏览器中查看
1)查看dfs:http://hadoop-master.dragon.org:50070/
2)查看MP:http://hadoop-master.dragon.org:50030/
-
运行Wordcount测试
$ hadoop fs -mkdir /wc
$ hadoop fs -mkdir /wc/input
$ hadoop fs -cp /opt/modules/hadoop-1.2.1/conf/*.xml /wc/input
$ hadoop jar hadoop-examples-1.2.1.jar wordcount /wc/input /wc/output
运行结束
结果图示
-
关闭五大守护进程
$ /bin/stop-all.sh
至此hadoop伪分布式模式安装并测试成功
-
06_Hadoop配置伪分布式模式详解
最新推荐文章于 2016-03-23 12:53:31 发布