Hadoop 安装(详细步骤)

前期操作

  1. 下载 hadoop 安装包至安装目录
    安装目录:/opt
    hadoop版本:hadoop-2.6.0-cdh5.14.2.tar.gz
    在这里插入图片描述

  2. 解压安装包至软件目录(最好更名,以便之后方便配置文件)

    tar -zxf hadoop-2.6.0-cdh5.14.2.tar.gz
    mv hadoop-2.6.0-cdh5.14.2 soft/hadoop260

在这里插入图片描述

  1. 进入文件,准备配置
    因为需要用到 java 的路径,可以代码查找,并复制至剪贴板备用

    cd /opt/soft/hadoop260/etc/hadoop
    echo $JAVA_HOME

在这里插入图片描述

修改配置文件

注:注意修改路径和IP地址之类的变更项

  1. 配置 jdk 路径
    #更换 JAVA_HOME 的路径

    vi hadoop-env.sh

    export JAVA_HOME=/opt/soft/jdk180

  2. 修改核心配置文件
    设置默认文件系统(本地默认 file:/位置)此处端口与HBASE端口设成一样
    创建临时存储文件路径
    授权访问用户为所有 root 型
    授权访问用户为任意组的 root 型

    vi core-site.xml

    fs.defaultFS hdfs://192.168.56.101:9000 hadoop.tmp.dir /opt/soft/hadoop260/tmp hadoop.proxyuser.root.hosts * hadoop.proxyuser.root.groups *
  3. 设置文件副本个数
    这里:最少3个伪分布只写1个,我只用一台机子模拟

    vi hdfs-site.xml

    dfs.replication 1
  4. 设置映射化简模型框架
    这里需要复制 mapred-site.xml.template 临时文件,并在复制后的文件中配置(注意命名)
    设置框架为 yarn

    cp mapred-site.xml.template mapred-site.xml

    vi mapred-site.xml

    mapreduce.framework.name yarn
  5. 设置 yarn 站点+节点
    设置 yarn 站点名称为:localhost
    设置辅助节点管理

    vi yarn-site.xml

    yarn.resourcemanager.localhost localhost yarn.nodemanager.aux-services mapreduce_shuffle
  6. 添加环境变量的相关项

    vi /etc/profile
    #末行添加配置项
    export HADOOP_HOME=/opt/soft/hadoop260
    export HADOOP_MAPRED_HOME= H A D O O P H O M E e x p o r t H A D O O P C O M M O N H O M E = HADOOP_HOME export HADOOP_COMMON_HOME= HADOOPHOMEexportHADOOPCOMMONHOME=HADOOP_HOME
    export HADOOP_HDFS_HOME= H A D O O P H O M E e x p o r t Y A R N H O M E = HADOOP_HOME export YARN_HOME= HADOOPHOMEexportYARNHOME=HADOOP_HOME
    export HADOOP_COMMON_LIB_NATIVE_DIR= H A D O O P H O M E / l i b / n a t i v e e x p o r t P A T H = HADOOP_HOME/lib/native export PATH= HADOOPHOME/lib/nativeexportPATH=PATH: H A D O O P H O M E / s b i n : HADOOP_HOME/sbin: HADOOPHOME/sbin:HADOOP_HOME/bin
    export HADOOP_INSTALL=$HADOOP_HOME

启动调试是否配置成功

  1. 加载环境变量配置文件

    source /etc/profile

  2. 格式化 NameNode

    hadoop namenode -format

  3. 启动 Hadoop

    start-all.sh

  4. 检验启动是否成功
    后台进程应该有相关的5项
    在这里插入图片描述
    网页键入 192.168.56.101:50070 页面显示为:
    在这里插入图片描述
    检验成功,即安装成功,祝大家好运,谢谢!!!

  • 0
    点赞
  • 12
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值