Hadoop伪分布式配置

Hadoop伪分布式配置

配置前需要关闭防火墙 、selinux,具体步骤可参考我写的Hadoop配置前的工作

所需文件：

jdk-8u65-linux-x64.tar.gz

hadoop-2.6.0.tar.gz

1.配置jdk

1.1卸载原有的jdk

进入root用户，在命令行输入yum remove java

1.2解压jdk-8u65-linux-x64.tar.gz文件到app文件夹下

mkdir app(创建app文件夹)

cd app

tar -zxvf jdk-8u65-linux-x64.tar.gz 

2.配置环境变量

2.1进入root用户

vi /etc/profile

在此文件的最后，输入：

JAVA_HOME=/home/single/app/jdk1.8.0_65

export PATH=$PATH:$JAVA_HOME/bin

 键入：wq 退出

2.2切换到普通用户，让修改过的环境文件生效，执行source命令

source /etc/profile

3.配置IP地址的映射

Root用户修改hosts文件

vi /etc/hosts（本机IP 用户名）

192.168.29.9 master

 

检查：

ping master

如果能ping通则配置正确

Linux里ping会一直输出结果，按下ctrl+c中断

4.伪分布式配置

4.1解压hadoop压缩文件

tar -zxvf hadoop-2.6.0.tar.gz

解压后，bin目录存放一些命令，etc目录存放一些配置文件

4.2修改配置文件 在/home/single/app/hadoop-2.6.0/etc/hadoop目录

cd /home/single/app/hadoop-2.6.0/etc/hadoop

1>vi hadoop-env.sh

找到JAVA_HOME这一行修改

export JAVA_HOME=/home/single/app/jdk1.8.0_65

2> vi core-site.xml

(里面的master是主机名)

<configuration> <property>         <name>fs.defaultFS</name>                 <value>hdfs://master:9000</value>                     </property> </configuration>

3> vi hdfs-site.xml

<configuration> <property>         <name>dfs.replication</name>                 <value>1</value>                     </property> </configuration>

4>复制文件 cp mapred-site.xml.template mapred-site.xml

 vi mapred-site.xml

<configuration> <property>         <name>mapreduce.framework.name</name>                 <value>yarn</value>                     </property> </configuration>

5> vi yarn-site.xml

<configuration>   <!-- Site specific YARN configuration properties --> <property>         <name>yarn.nodemanager.aux-services</name>                 <value>mapreduce_shuffle</value>                     </property> </configuration>

4.3格式化HDFS（只执行一次，下次在启动hadoop的时候就不用格式化了）

在hadoop解压目录执行：bin/hdfs namenode -format

cd /home/hadoop/hadoop-2.6.0

bin/hdfs namenode -format

5.启动hadoop服务

在hadoop解压目录执行：sbin/start-all.sh

启动的过程中需要多次输入yes和密码

启动完成后在命令行输入jps（共6个）

[single@master hadoop-2.4.1]$ jps 4144 SecondaryNameNode 3883 NameNode 4275 ResourceManager 3999 DataNode 4651 Jps 4561 NodeManager

至此hadoop启动成功

6.检验

在hadoop解压目录输入一下命令

1. 查看文件

bin/hadoop fs -ls /

2. 创建目录

bin/hadoop fs -mkdir /hello

3. 把本地文件放入hdfs

bin/hadoop fs -put 本地文件路径  hdfs路径

如 bin/hadoop fs -put etc/hadoop/core-site.xml /hello

4. 查看hdfs里某个文件的 内容

bin/hadoop fs -cat /hello/core-site.xml

能够查看则说明配置成功

7.关闭hadoop

sbin/stop-all.sh