本次学习hadoop伪分布部署采用了三个节点,每个节点装了centos操作系统。
<1>进入节点设置其ip地址,设置之后重启网卡,
执行命令service network restart
验证:执行命令ifcofig
<2>修改主机名
(1)使用hostname查看主机名,使用hostname newname 修改当前会话的主机名
(2)修改配置文件中的主机名,执行命令 vi /etc/sysconfig/network
验证:重启机器
<3>把主机名和ip绑定
执行命令 vi /etc/hosts,增加如下内容:192.168.0.1 hadoop
验证:ping hadoop
<4>关闭防火墙
使用命令service iptables status 查看防火墙
使用命令service iptables stop 关闭防火墙
验证:serviec iptables status
<5>关闭防火墙的自动运行
执行命令 chkconfig iptables off
验证:chkconfig --list |grep iptables
<6> SSH(secure shell)
(1)执行命令 ssh-keygen -t rsa 产生秘钥,位于 ~/.ssh文件夹中
(2)执行命令 cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys
验证:ssh localhost
<7> 安装jdk
(2)执行命令rm -rf /usr/local/* 删除所有内容
(1)使用winscp把jdk文件从windows复制到/usr/local目录下
(3)执行命令 chmod u+x jdk-6u24... 赋予执行权限
(4)执行命令 ./jdk-6u24-linux-i586.bin 解压缩
(5)执行命令 mv jdk1.6.0_24 jdk 重命名
(6)执行命令 vi /etc/profile 设置环境变量,增加了2行内容
export JAVA_HOME=/usr/local/jdk
export PATH=.:$JAVA_HOME/bin:$PATH
保存退出
执行命令 source /etc/profile 让设置立即生效
验证:java -version
<8> 安装hadoop
(1)执行命令 tar -zxvf hadoop-1.1.2.tar.gz 进行解压
(2)执行命令 mv hadoop-1.1.2 hadoop 重命名
(3)执行命令 vi /etc/profile 设置环境变量,增加了1行内容 export HADOOP_HOME=/usr/local/hadoop
修改了一行内容
export PATH=.:$HADOOP_HOME/bin:$JAVA_HOME/bin:$PATH
(4)执行source /etc/profiel让设置立即生效
默认的hadoop是一种本地执行模式
,此时讲的是一种伪分布,所以要修改其配置文件
(5) 修改hadoop的配置文件,位于$HADOOP_HOME/conf目录下。修改四个配置文件,分别是hadoop-env.sh、core-site.xml、hdfs-site.xml、mapred-site.xml,具体修改方法见PPT
1.修改hadoop-env.sh
export JAVA_HOME=/usr/local/jdk/
2.修改core-site.xml
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://hadoop:9000</value>
<description>change your own hostname</description>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/local/hadoop/tmp</value>
</property>
</configuration>
3.修改hdfs-site.xml
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
</configuration>
4.修改mapred-site.xml
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>hadoop:9001</value>
<description>change your own hostname</description>
</property>
</configuration>
<5>对hadoop进行格式化 hadoop namenode -format
<6>执行命令start-all.sh 启动hadoop
验证: (1)执行命令jps,发现5个java进程,NameNode,DataNode,SecondaryNameNode,JobTracker,TaskTracker
(2)通过浏览器 http://hadoop:50070和http://hadoop:50030 查看