关闭

Hadoop2.7.3伪分布式搭建

标签: JDK安装Hadoop伪分布式搭建
138人阅读 评论(0) 收藏 举报
分类:

1.安装JDK

①找到自己的jdk压缩文件的目录,解压:tar -zxvf jdk-8u112-linux-x64.tar.gz -c /usr/java

②配置环境变量:

输入命令:vim /etc/profile

在结尾添加以下内容:


刷新资源:source  /etc/profile

2.安装Hadoop-2.7.3

①解压Hadoop到指定文件夹中:tar -zxvf hadoop-2.7.3.tar.gz -c /hadoop

②修改相关配置文件:

修改hadoop-env.sh文件

cd /hadoop/hadoop-2.7.3/etc/hadoop


输入命令:vi hadoop-env.sh

修改文件中的JAVA_HOME:


export JAVA_HOME=/usr/java/jdk1.8.0_112

修改core-site.xml:

输入命令:vi core-site.xml

添加以下配置:

第一个property:指定HDFS的老大(NameNode)的地址

第二个property:指定hadoop运行时产生文件的存储目录

修改hdfs-site.xml:

输入命令:vi hdfs-site.xml

property:指定HDFS保存数据副本的数量        

      修改mapred-site.xml:

输入命令:vi  mapred-site.xml

若无此文件,执行此命令:mv mapred-site.xml.template mapred-site.xml

注:告诉Hadoop以后mapreduce运行在yarn上

修改yarn-site.xml:

输入命令:vi yarn-site.xml

第一个property:指定YARN的老大(ResourceManager)的地址

第二个property:reduce获取数据的方式shuffle

③将hadoop添加到环境变量:

输入命令:vim /etc/proflie

刷新资源配置source /etc/profile

3.初始化HDFS(格式化文件系统)

#hadoop namenode -format(已过时)

hdfs namenode -format

出现以下信息则表示格式化成功:

4.启动HDFS和YARN

进入sbin目录:cd /hadoop/hadoop-2.7.3/sbin

执行命令:#./start-all.sh(已过时)

分别指行:./start-dfs.sh

,/start-yarn.sh

执行完成后,输入命令:jps

注:若出现此图中的信息则成功了


0
0

查看评论
* 以上用户言论只代表其个人观点,不代表CSDN网站的观点或立场
    个人资料
    • 访问:7976次
    • 积分:201
    • 等级:
    • 排名:千里之外
    • 原创:12篇
    • 转载:0篇
    • 译文:0篇
    • 评论:9条
    最新评论