Hadoop:安装(单机及集群)的配置

本文详细介绍了Hadoop的单机及集群安装配置步骤,包括解压安装包、配置Hadoop环境、核心及站点文件、启动Hadoop、配置集群以及访问Hadoop服务的相关操作。同时,提到了配置免密服务、更新主机名和防火墙设置等关键环节。
摘要由CSDN通过智能技术生成

Hadoop :安装(单机及集群)的配置## 标题

  1. 一:首先在虚拟机中进行解压
    二:配置Hadoop ./etc/hadoop目录下的文件
    配置hadoop-env.sh
    配置core-site.xml (配置完此步,需要在hadoop260目录下建hadoop2目录)
    配置hdfs-site.xml
    配置mapred-site.xml
    配置yarn-site.xml
    配置vi ./slaves
    3.2Hadoop环境变量配置
    刷新环境变量
    格式化HDFS (第一次启动要格式化,以后定期删除日志就好)
    启动hadoop
    配置native(可以进行配置,也可以不配置)
    三:访问Hadoop
    四:配置Hadoop 集群(需要先配置虚拟机之间的免密服务)
    准备
    以上是主机之间网络通信的基础,接下来在hadoopha上单独配置hadoop环境,hadoop1和hadoop2不用安装hadoop,只有jdk即可
    执行vim etc/hadoop/hadoop-env.sh
    执行vi etc/hadoop/core-site.xml
    执行vim etc/hadoop/hdfs-site.xml,同样位置添加如下配置:
    执行vim etc/hadoop/mapred-site.xml,同样位置添加如下配置:
    执行vim etc/hadoop/yarn-site.xml,添加如下配置:
    编辑slaves文件,执行etc/hadoop/slaves
    然后退到上一层目录,把配置好的hadoop目录和profile发送到hadoop1和hadoop2中(需要在datanote上刷新profile)
    接下来使用WordCount例子来测试集群的运行:

一:首先在虚拟机中进行解压

tar -zxvf hadoop-2.6.0-cdh5.14.2.tar.gz -C ../bigdata

二:配置Hadoop ./etc/hadoop目录下的文件

配置hadoop-env.sh

# The java implementation to use.
export JAVA_HOME=/opt/greeinstall/jdk18111

配置core-site.xml (配置完此步,需要在hadoop260目录下建hadoop2目录)

<configuration>
<property>
  <name>fs.defaultFS</name>
  <value>hdfs://192
  • 0
    点赞
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值