Hadoop集群伪分布式搭建

版权声明:本文为博主原创文章,遵循 CC 4.0 by-sa 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/hk10066/article/details/86179639

1.Hadoop集群伪分布式搭建

1、准备工作

  1. 配置好虚拟机IP,

  2. 关闭防火墙,

  3. 安装好jdk,配置环境变量

    1.上传JDK

    2.解压到对应目录 tar -zxvf jdk1.8 -C /对应目录

    3.配置环境变量 vi /etc/profile

    export JAVA_HOME=/opt/software/jdk1.8
    export PATH=$PATH.:JAVA_HOME/bin:
     

    4.刷新配置文件 source /etc/profile

    5.jdk环境配置成功 java Java -version  出现版本号

  4. 上传Hadoop压缩文件

  5. 解压到对应目录(我的Hadoop安装在opt下的software的,个人随意)

  6. 免密登陆(登录shell,非必须)

    ssh登录本地  记住要退出

    ssh-keygen -t rsa 四次回车

    进入.ssh 目录

    ssh-copy-id localhost(免密的机器)

2.修改配置文件

  1. 先跳转到

    cd /opt/software/hadoop-2.7.1/etc/hadoop

  2. 修改 hadoop-env.sh
    vi hadoop-env.sh
    添加 hadoop使用jdk环境(大约大26行的位置)
    export JAVA_HOME=/opt/software/jdk1.8.0_172

  3. 配置 vi core-site.xml    (注意xml配置修改都是在<configuration>标签内,下同)
    修改 namenode
    箭头部分是自己虚拟机ip,因为我自己做了ip映射,所以不用完整ip地址也可以识别

    <configuration>
    <property>

    <name>fs.defaultFS</name>

    <value>hdfs://node01:9000</value>

    </property>

    <property>

    <name>hadoop.tmp.dir</name>

    <value>/opt/software/hadoop-2.7.1/data</value>

    </property>

    </configuration>

  4. 设置一个零时文件夹存放目录data,创建目录

    创建目录

    mkdir /opt/software/hadoop-2.7.1/data

  5. 配置 vi hdfs-site.xml

    <property>

    <name>dfs.replication</name>

    <value>1</value>

    </property>

    ps: 若是集群副本数量是3

    有多少台datanode 设置对应数量的副本

    若是这样设置会出现大量,一般副本数量为3

    需要指定secondaryNameNode的端口

    <property>

    <name>dfs.namenode.secondary.http-address</name>

    <value>node01:50090</value>

    </property>

  6. 配置 vi mapred-site.xml

    因为是模板文件不能执行 需要修改名字,默认只有mapred-site.xml.template 去掉后边就是mapred-site.xml
    再进行配置即可

    mv ./mapred-site.xml.template ./mapred-site.xml

    执行mr运行在yarn上

    <property>

    <name>mapreduce.framework.name</name>

    <value>yarn</value>

    </property>

  7. 配置 vi yarn-site.xml

    需要执行yarn的执行老大 ResourceManager

    <property>

    <name>yarn.resourcemanager.hostname</name>

    <value>node01</value>

    </property>

     

    reduce获取数据的方式

    <property>

    <name>yarn.nodemanager.aux-services</name>

    <value>mapreduce_shuffle</value>

    </property>

  8. 将hadoop配置为全局变量

    vi /etc/profile 编辑

    export JAVA_HOME=/opt/software/jdk1.8
    export PATH=$PATH.:JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:
    export HADOOP_HOME=/opt/software/hadoop-2.7.1

    source /etc/profile 刷新

  9. 以下操作只在第一次启动HDFS时执行格式化 

    执行命令 hadoop namenode -format
    出现很多字之后若配置没问题就会成功,如果配置出错会提示哪个配置文件有问题

    出现successfuly formatted
    格式化成功

  10. 启动hdfs start-dfs.sh //停止 stop-dfs.sh 启动后执行jps,出现下图

  11. 启动成功验证 http://虚拟机IP:50070 出现web界面即ok

  12. yarn启动 start-yarn.sh 停止 stop-yarn.sh http://虚拟机IP:8088 出现web界面ok

  13. start-all.sh    同时开启        stop-all.sh 同时关闭

展开阅读全文

没有更多推荐了,返回首页