【hadoop学习笔记】----hadoop伪分布式环境配置

 

Hadoop2.6.0 伪分布式设置

准备:首先将JDK(jdk1.8.0_121) 和Hadoop(hadoop-2.6.0)安装包上传到虚拟机的linux系统

系统环境:虚拟机IP 192.168.207.55(自己配置虚拟机NAT模式的IP)

linux用户:

root/password,hadoop/password

主机名:hadoop

将防火墙关闭,使用root执行:service iptables stop

安装JDK

1、(hadoop用户)的soft文件夹下,将JDK解压 ,tar -zxvf jdk-8u121-linux-x64.tar,完成后,会有一个jdk1.8.0_121目录;

2、配置环境变量,(切换到root用户下 ,su root 输入密码)修改/etc/profile文件,在最后添加JAVA_HOME=/home/hadoop/soft/jdk1.8.0_121
export PATH=$PATH:$JAVA_HOME/bin

注:linux命令行下文件的编辑,使用(vi 文件名)打开文件;输入(i)进入编辑模式;按下esc键退出编辑模式;输入(:)后再输入(q)退出不保存,(wq)保存后退出,输入(q!)强制退出;

3、使修改的环境变量生效(hadoop用户),执行source /etc/profile

安装Hadoop

1、(hadoop用户)soft文件夹下,解压hadoop安装包hadoop-2.6.0.tar,完成后生成一个hadoop-2.6.0目录;

2、(hadoop用户)修改配置文件/home/hadoop/soft/hadoop-2.6.0/etc/hadoop/hadoop-env.sh添加export JAVA_HOME=/home/hadoop/soft/jdk1.8.0_121

3、(hadoop用户)修改配置文件hadoop-2.6.0/etc/hadoop/core-site.xml,添加

<configuration>
<property>
        <name>fs.defaultFS</name>
                <value>hdfs://hadoop:9000</value>
                </property>

</configuration>

4、(hadoop用户)修改配置文件hadoop-2.6.0/etc/hadoop/hdfs-site.xml,添加

<configuration>
<property>
        <name>dfs.replication</name>
                <value>1</value>        
</property>
</configuration>

5、 (hadoop用户)修改配置文件hadoop-2.6.0/etc/hadoop/mapred-site.xml,这个文件没有需要复制一份,执行命令(cp etc/hadoop/mapred-site.xml.template etc/hadoop/mapred-site.xml)后打开添加

<configuration>
<property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
 </property>
</configuration>

6、 (hadoop用户)修改配置文件hadoop-2.6.0/etc/hadoop/yarn-site.xml,添加

<property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
</property>
</configuration>

 7、(root用户)修改主机名称,重启生效;执行命令(vi /etc/sysconfig/network),修改HOSTNAME主机名为hadoop;

8、(root用户)修改/etc/hosts文件,添加ip  主机名称(192.168.207.25 hadoop)

9、(hadoop用户)格式化HDFS,在hadoop解压目录下,执行命令:(bin/hdfs namenode -format);注:格式化只能操作一次,如果因为某种原因,集群不能使用,需要再次格式化,此时需要将上一次格式化的信息删除,即在/tmp目录下执行命令(rm -rf*)

10、(hadoop用户)在hadoop解压目录下,输入命令(sbin/start-all.sh)启动集群(含所有进程),此时需要输入四次当前用户的密码(配置SSH互信),启动成功后,使用jps查看进程,应该显示有六个进程,

[hadoop@hadoop hadoop-2.6.0]$ jps

32033 Jps

31718 SecondaryNameNode

31528 DataNode

31852 ResourceManager

31437 NameNode

31949 NodeManager

11、(hadoop用户)关闭集群,执行命令(sbin/stop-all.sh)

 

 

阅读更多
换一批

没有更多推荐了,返回首页