Hadoop2.7.3伪分布式搭建

1.安装JDK

①找到自己的jdk压缩文件的目录,解压:tar -zxvf jdk-8u112-linux-x64.tar.gz -c /usr/java

②配置环境变量:

输入命令:vim /etc/profile

在结尾添加以下内容:


刷新资源:source  /etc/profile

2.安装Hadoop-2.7.3

①解压Hadoop到指定文件夹中:tar -zxvf hadoop-2.7.3.tar.gz -c /hadoop

②修改相关配置文件:

修改hadoop-env.sh文件

cd /hadoop/hadoop-2.7.3/etc/hadoop


输入命令:vi hadoop-env.sh

修改文件中的JAVA_HOME:


export JAVA_HOME=/usr/java/jdk1.8.0_112

修改core-site.xml:

输入命令:vi core-site.xml

添加以下配置:

第一个property:指定HDFS的老大(NameNode)的地址

第二个property:指定hadoop运行时产生文件的存储目录

修改hdfs-site.xml:

输入命令:vi hdfs-site.xml

property:指定HDFS保存数据副本的数量        

      修改mapred-site.xml:

输入命令:vi  mapred-site.xml

若无此文件,执行此命令:mv mapred-site.xml.template mapred-site.xml

注:告诉Hadoop以后mapreduce运行在yarn上

修改yarn-site.xml:

输入命令:vi yarn-site.xml

第一个property:指定YARN的老大(ResourceManager)的地址

第二个property:reduce获取数据的方式shuffle

③将hadoop添加到环境变量:

输入命令:vim /etc/proflie

刷新资源配置source /etc/profile

3.初始化HDFS(格式化文件系统)

#hadoop namenode -format(已过时)

hdfs namenode -format

出现以下信息则表示格式化成功:

4.启动HDFS和YARN

进入sbin目录:cd /hadoop/hadoop-2.7.3/sbin

执行命令:#./start-all.sh(已过时)

分别指行:./start-dfs.sh

,/start-yarn.sh

执行完成后,输入命令:jps

注:若出现此图中的信息则成功了


阅读更多
个人分类: Hadoop准备工作
上一篇CentOS7下安装VMTools
下一篇CentOS7下无法访问50070和8088端口
想对作者说点什么? 我来说一句

没有更多推荐了,返回首页

关闭
关闭