Hadoop运行环境搭建以及伪分布式环境搭建

在linux中安装好jdk和Hadoop后进行环境搭建

java环境配置

命令行输入：vi /etc/profile  在底部加上

JAVA_HOME=自己的jdk安装路径

完成后在命令行输入 source /etc/profile  让其生效

表示配置成功

 Hadoop环境配置

和Java环境配置大同小异

命令行输入：vi /etc/profile  在底部加上

 

完成后同样命令行输入：source /etc/profile 让其生效

 

表示配置成功

伪分布式环境搭建：

 1.让Hadoop和java关联上

        在hadoop目录下进入etc/hadoop目录 

        vi hadoop-env.sh 编辑该文件

将这里换成Java的路径 

2.配置core-site.xml文件

        vi core-site.xml

这是运行hadoop时临时文件存储路径

3.配置hdfs-site.xml

 <property>

        <name>fs.defaultFS</name>

        <value>hdfs://自己的ip地址:9000</value>

</property>(这里也可以配置在core-site.xml里面)

<property>

        <name>dfs.replication</name>

        <value>1</value>

</property>

 

 

4.配置yarn-env.sh

vi yarn-env.sh

加一行:export JAVA_HOME=自己的jdk路径

 

 5.配置yarn-site.xml

vi yarn-site.xml

 

6.配置mapred-env.sh

 

7.配置mapred-site.xml

将这个文件重命名

 

 

配置完成后格式化NameNode

 

成功

 

出现这个文件夹

启动hdfs

 

 

启动成功

在浏览器输入 

打开成功 若无法加载 可能是防火墙问题 关闭防火墙即可

 启动yarn

启动成功

浏览器输入 

可进入yarn页面

到此伪分布式环境搭建完成

Linux初学者，若有错误之处还请指出