hadoop(二：hadoop3.3.0搭建，HDFS shell 命令，MapReduce程序）

已于 2023-07-23 21:25:26 修改
阅读量1.8k 收藏 18
点赞数 29
文章标签： hadoop hdfs mapreduce
于 2023-07-12 15:17:07 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_73905064/article/details/131682397
版权

 

 3台： 

hadoop集群
名称IP
hadoop01192.168.204.130
hadoop02192.168.204.131
hadoop03192.168.204.132

目录

1：下载jdk,镜像：

2：创建文件夹

1：在/创建mwd文件夹放压缩包

2：在/usr/lib/目录下创建jvm文件放jdk

3：创建/data/hadoop目录放hadoop

3：解压安装包更改haoop名字

1：解压jdk-8u161-linux-x64.tar.gz

2：解压hadoop3.3.0

3：把/data/hadoop 下面hadoop-3.3.0重命名为app

4：配置jdk,hadoop环境

1：编辑/etc/profile文件添加

2：刷新一下用户配置

3：查看配置

5：hadoop配置

1：进入hadoop配置目录

2：配置hadoop-env.sh

3：配置core-site.xml

4：配置vim hdfs-site.xml文件

5：配置mapred-site.xml

6：配置yarn-site.xml

7：配置workers文件

6：分发目录

1：在执行scp命令之前，请确保目标目录存在或根据需要进行创建。可以使用以下命令创建目录如果有就没有必要执行

2：分发环境目录

3：分发jdk目录

4：分发hadoop目录

5：刷新一下hadoop02 hadoop03用户配置

6：查看hadoop02 hadoop03配置

7：格式化NameNode

8：启动和停止hadoop

1：全部启动和停止HDFS 和YARN

2：jps查看进程

9：通过WEB管理界面查看集群状态

10：HDFS shell 命令

1：查看

2：创建文件夹

3：上传文件到HDFS

4：查看HDFS文件内容

5：向HDFS下载文件到当前文件夹下

6：追加数据到HDFS文件中(小文件合并)

7：HDFS删除文件

11：MapReduce程序

1：评估pi的值

2：WordCoun概述

1：下载jdk,镜像：

1下载hadoop3.3.0.tar.gz

2下载jdk-8u161-linux-x64.tar.gz

jdk-8u161-linux-x64.tar.gz

2：创建文件夹

1：在/创建mwd文件夹放压缩包

mkdir /mwd

2：在/usr/lib/目录下创建jvm文件放jdk

mkdir /usr/lib/jvm

3：创建/data/hadoop目录放hadoop

mkdir -p /data/hadoop

3：解压安装包更改haoop名字

1：解压jdk-8u161-linux-x64.tar.gz

cd /mwd 
tar -zxvf jdk-8u161-linux-x64.tar.gz -C/usr/lib/jvm

2：解压hadoop3.3.0

cd /mwd
tar -zxvf hadoop-3.3.0.tar.gz -C/data/hadoop

3：把/data/hadoop 下面hadoop-3.3.0重命名为app

cd /data/hadoop/
mv /data/hadoop/hadoop-3.3.0 app

4：配置jdk,hadoop环境

1：编辑/etc/profile文件添加

vim /etc/profile

#配置java路径
export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_161
export PATH=$JAVA_HOME/bin:$PATH 
#配置hadoop路径
export HADOOP_HOME=/data/hadoop/app 
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
#指定进程的用户名字
export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root

2：刷新一下用户配置

source /etc/profile

3：查看配置

java -version
hadoop version

5：hadoop配置

1：进入hadoop配置目录

cd /data/hadoop/app/etc/hadoop/

2：配置hadoop-env.sh

vim hadoop-env.sh

export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_161

3：配置core-site.xml

vim core-site.xml

<configuration>
  <!--设置默认使用的文件系统Hadoop支持file,HDFS,GFS,ali|Amazon云等文件系统 -->
    <property>
            <name>fs.defaultFS</name>
            <value>hdfs://hadoop01:8020</value>
    </property>
  <!--于指定文件读写时的缓冲区大小。缓冲区是一块内存区域，用于临时存储文件数据，以提高文件读写的性能-->
    <property>
            <name>io.file.buffer.size</name>
            <value>131072</value>
    </property>
  <!--文件系统垃圾桶保存时间-->
    <property>
            <name>fs.trash.interval</name>
            <value>1440</value>
    </property>
     
  <!--设置Hadoop本地保存数据路径-->
    <property>
            <name>hadoop.tmp.dir</name>
            <value>/data/hadoop/temp</value>
    </property>
  
  <!-- 设置HDFS web UI用户身份-->
    <property>
            <name>hadoop.http.staticuser.user</name>
            <value>root</value>
    </property>
  
  <!--整合hive用户代理设置-->
    <property>
            <name>hadoop.proxyuser.root.hosts</name>
            <value>*</value>
    </property>
  
  <!--配置Hadoop代理用户（proxyuser）的用户组（groups）权限-->
    <property>
           <name>hadoop.proxyuser.root.groups</name>
           <value>*</value>
     </property>
</configuration>

4：配置vim hdfs-site.xml文件

vim hdfs-site.xml

<configuration>
  <!--设置SNN进程运行机器位置信息-->
    <property>
           <name>dfs.namenode.secondary.http-address</name>
           <value>hadoop02:9868</value>
    </property>
</configuration>

5：配置mapred-site.xml

vim mapred-site.xml

<configuration>
  <!--设置MR程序默认运行模式：YARN集群模式 local本地模式-->
    <property>
           <name>mapreduce.framework.name</name>
           <value>yarn</value>
    </property>
  <!--MR程序历史服务地址-->
     <property>
           <name>mapreduce.jobhistory.webapp.address</name>
           <value>hadoop01:10020</value>
     </property>
  <!--MR程序历史服务器web端地址-->
      <property>
           <name>mapreduce.jobhistory.webapp.address</name>
           <value>hadoop01:19888</value>
      </property>  
  <!---->
    <property>
          <name>yarn.app.mapreduce.am.env</name>
          <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
    </property>
  <!---->
    <property>
          <name>mapreduce.map.env</name>
          <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
    </property>
  <!---->
    <property>
          <name>mapreduce.reduce.env</name>
          <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
    </property>
</configuration>

6：配置yarn-site.xml

vim yarn-site.xml

<configuration>
  <!--设置YARN集群主角色运行机器位置-->
    <property>
          <name>yarn.resourcemanager.hostname</name>
          <value>hadoop01</value>
    </property>
  <!---->
    <property>
          <name>yarn.nodemanager.aux-services</name>
          <value>mapreduce_shuffle</value>
    </property>
  <!--是否对容器实施物理内存限制-->
     <property>
            <name>yarn.nodemanager.pmem-check-enabled</name>
            <value>false</value>
     </property> 
   <!--开启日志聚集-->
     <property>
            <name>yarn.log-aggregation-enable</name>
            <value>true</value>
     </property>
    <!--设置yare历史服务器地址-->  
     <property>
            <name>yarn.log.server.url</name>  
            <value>http://hadoop01:1988/jobnistory/logs</value>
     </property>
</configuration>

7：配置workers文件

vim workers

hadoop01
hadoop02
hadoop03

6：分发目录

1：在执行scp命令之前，请确保目标目录存在或根据需要进行创建。可以使用以下命令创建目录如果有就没有必要执行

ssh root@hadoop02 "mkdir -p /data/hadoop"
ssh root@hadoop02 "mkdir -p usr/lib/jvm/jdk1.8.0_161/"
ssh root@hadoop03 "mkdir -p /data/hadoop"
ssh root@hadoop03 "mkdir -p usr/lib/jvm/jdk1.8.0_161/"

2：分发环境目录

scp -r /etc/profile root@hadoop02:/etc/profile
scp -r /etc/profile root@hadoop03:/etc/profile

3：分发jdk目录

scp -r /usr/lib/jvm/jdk1.8.0_161/ root@hadoop02:/usr/lib/jvm/
scp -r /usr/lib/jvm/jdk1.8.0_161/ root@hadoop03:/usr/lib/jvm/

4：分发hadoop目录

scp -r /data/hadoop/app/ root@hadoop02:/data/hadoop/
scp -r /data/hadoop/app/ root@hadoop03:/data/hadoop/

5：刷新一下hadoop02 hadoop03用户配置

source /etc/profile

6：查看hadoop02 hadoop03配置

java -version
hadoop version

7：格式化NameNode

规划中是hadoop01作为NameNode，在该机器下进行格式化：

hadoop namenode -format

格式化NameNode成功的控制台日志如下：

8：启动和停止hadoop

1：全部启动和停止HDFS 和YARN

start-all.sh 
stop-all.sh

2：jps查看进程

jps

[root@hadoop01 ~]# jps
4691 DataNode      #从角色  HDES
5494 NodeManager   #从角色  YNRN
7190 Jps
5294 ResourceManager
4495 NameNode      #主角色  HDFS

[root@hadoop02 ~]# jps
6275 Jps
4313 DataNode           #从角色  HDES
4476 SecondaryNameNode  # 主角色辅助角色  HDFS
4733 NodeManager        #从角色  YNRN

[root@hadoop03 ~]# jps
6266 Jps
4315 DataNode     #从角色  HDES
4668 NodeManager  #从角色  YNRN

9：通过WEB管理界面查看集群状态

访问入口如下：

  • HDFS入口：http://192.168.204.130:9870 或者 hdoop01:9870（来自于hdfs-site.xml的dfs.http.address配置项）（如果hadoop01:9870访问不了可能是没有在主机上添加IP win（在主机上可以ping hadoop01））

  • YARN入口：http://192.168.204.130:8088/cluster或者 hdoop01:8088（ResourceManager所在节点的8088端口）

10：HDFS shell 命令

1：查看

hadoop fs -ls file:///  #查看本地文件系统
hadoop fs -ls hdfs://hadoop01:50070/ #读取HDFS里面目录
hadoop fs -ls /   #读取HDFS里面目录core-site.xml配置好了
hadoop fs -ls -h /
hadoop fs -ls -R / #递归查看目录和子目录

2：创建文件夹

hadoop fs -mkdir /itcast #在hdfs更目录下创建itcast目录
hadoop fs -mkdir -p /itcast/iter  #在hdfs上递归创建目录

3：上传文件到HDFS

hadoop fs -put anaconda-ks.cfg /itcast #上传文件到HDFS下的itcast目录下

4：查看HDFS文件内容

hadoop fs -cat /1.txt

5：向HDFS下载文件到当前文件夹下

hadoop fs -get anaconda-ks.cfg ./

6：追加数据到HDFS文件中(小文件合并)

hadoop fs -appendToFile 2.txt 3.txt /1.txt

7：HDFS删除文件

hdfs dfs -rm <文件路径>
hdfs dfs -rm -r <文件夹路径>

11：MapReduce程序

示例程序路径

cd /data/hadoop/app/share/hadoop/mapreduce/

示例程序

hadoop-mapreduce-examples-3.3.0.jar

MapReduce程序提交命令

hadoop jar hadoop-mapreduce-examples-3.3.0.jar..

1：评估pi的值

 

cd /data/hadoop/app/share/hadoop/mapreduce/
hadoop jar hadoop-mapreduce-examples-3.3.0.jar pi 100 200

2：WordCoun概述

上传1.txt文件(里面是一些单词)到HDFS

1.txt

 hadoop jar hadoop-mapreduce-examples-3.3.0.jar wordcount /input /outp

 

 

万物具理
关注
  • 29
    点赞
  • 踩
  • 18
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
Hadoop环境搭建和HDFS Shell命令
09-17
Hadoop环境搭建和HDFS Shell命令 ppt格式 内容丰富生动
DS_Hadoop:分布式系统项目构建 HDFS 和 MapReduce
06-20
DS_Hadoop 分布式系统项目构建 HDFS 和 MapReduce
Windows11安装hadoop-3.3.0
xiliuhu的专栏
05-07 2749
解压到C:\hadoop-3.3.0目录，形成C:\hadoop-3.3.0\bin这种目录层次。将其中bin目录替换到C:\hadoop-3.3.0\下的bin目录。\hadoop-3.3.0\etc\hadoop目录下有4个配置文件。2. 下载winutils替换hadoop-3.3.0\bin目录。选择hadoop-3.3.0.tar.gz下载。进入C:\hadoop-3.3.0\sbin。执行start-yarn.cmd文件。1. 下载hadoop-3.3.0。执行start-dfs.cmd文件。
hadoop3.3.0完全分布式安装
m0_64347807的博客
05-23 713
hadoop集群 1. 安装： 1.1 安装工具准备： jdk_1.8（已经安装完毕） hadoop_3.3.0 （压缩包） 虚拟机安装：vim （查看配置文件带有高亮） yum install vim -y 1.2 集群规划： hadoop1 hadoop2 hadoop3 HDFS NameNodeDataNode DataNode SecondaryNameNodeDataNode YARN NodeManager ResourceManagerNodeManager Node
2024年最新Hadoop3的安装_安装hadoop3，2024最新百度、头条等公司大数据开发面试题目
最新发布
2401_84586779的博客
05-14 411
历史服务器web端地址设置YARN集群主角色运行机器位置node1是否将对容器实施物理内存限制false是否将对容器实施虚拟内存限制。false开启日志聚集true设置yarn历史服务器地址保存的时间7天604800vi workersnode1node2node3PWDscp−rhadoop−3.3.0rootnode3PWD。
hadoop3.3.0多节点（ubuntu下）完全分布式安装
lskbk的博客
02-26 2082
hadoop3.3.0集群搭建 环境和所需软件说明 三台设备环境为：两台为ubuntu20.04，一台为ubuntu16.04 hadoop版本为hadoop-3.3.0 依赖软件：ssh，java1.8 一、配置节点名和IP： 说明：三台设备一个为namenode（节点名设置为master），两台为datanode（节点名设为node1和node2） sudo gedit /etc/hostname 将三台设备的hostname分别改为 master，node1，node2 sudo gedit /et
HADOOP 单机模式 伪分布式 完全分布式区别
热门推荐
yhblog的博客
11-11 1万+
1.单机(非分布式)模式 这种模式在一台单机上运行，没有分布式文件系统，而是直接读写本地操作系统的文件系统，一般仅用于本地MR程序的调试 2.伪分布式运行模式 这种模式也是在一台单机上运行，但用不同的Java进程模仿分布式运行中的各类结点: (NameNode,DataNode,JobTracker,TaskTracker,SecondaryNameNode) 　　请注意分布式运行中的这几个结点的...
Hadoop生态圈集群部署（完整版）
矿泉水瓶子
03-17 702
大数据平台机器部署，包含Hadoop，Hive，Hbase，Kafka，Flink等常用组件，持续更新~
hadoop处理框架，hdfs，mapreduce，yarn
08-29
Hadoop 处理框架、HDFS、MapReduce、YARN Hadoop 处理框架是大数据处理和分析的重要工具，主要由 HDFS、MapReduce 和 YARN 三个组件组成。HDFS 是一个分布式文件系统，提供高吞吐量的数据访问；MapReduce 是一个...
Hadoop常用shell命令
01-07
显示当前目录结构 #显示当前目录结构 hadoop fs -ls [path] #递归显示当前目录结构 hadoop fs -ls -R [path] #显示根目录下内容 ...从本地加载文件到 HDFS #二选一执行即可 hadoop fs -put [localsrc]
Hadoop原理与技术MapReduce实验
05-24
（1）熟悉Hadoop开发包 （2）编写MepReduce程序 （3）调试和运行MepReduce程序 （4）完成上课老师演示的内容 二、实验环境 Windows 10 VMware Workstation Pro虚拟机 Hadoop环境 Jdk1.8 二、实验内容 1.单词计数实验...
hadoop-3.0.3
10-24
hadoop-3.0.3 的linux 安装包！
Hadoop core-site.xml配置文件
12-17
Linux系统Centos7安装hadoop2.9.2所需部分配置文件，为了避免资源的浪费，以及更多人能够利用上，本人便将这些文件上传至此
hadoop配置文件core-site.xml
cts618
08-13 1933
hadoop配置文件core-site.xml
大数据Hadoop之——部署hadoop+hive+Mysql环境（window11）
qq_41946216的博客
10-17 5934
win环境下大数据Hadoop的部署hadoop+hive环境
Hadoop3.3.4报错 INFO resource.ResourceUtils: Unable to find ‘resource-types.xml‘
m0_62155641的博客
09-16 907
在hadoop-3.3.4/etc/hadoop下创建文件resource-types.xml，内容如下：
hadoop查看默认的配置文件
Andy86666的博客
04-30 4104
一、默认配置文件 默认的配置文件在 $HADOOP_HOME/share/hadoop（$HADOOP_HOME是取环境变量中hadoop的路径） 进入到该目录下： cd $HADOOP_HOME/share/hadoop 有以下几个目录： 默认配置文件就在红框中（common、hdfs、mapreduce、yarn） 补充知识： 配置文件介绍 cores-site.xml : 负责全局的配置（common） hdfs-site.xml：负责hdfs的配置 mapred-site.xml: 负责
Apache Hadoop 3.x 版本的安装和配置
yang_shibiao的博客
04-02 1423
0. 相关文章链接 大数据基础知识点 文章汇总 1.
Hadoop3.3.1完全分布式部署
jiangbenchu的博客
02-23 1547
Hadoop 是一种分析和处理大数据的软件平台，是一个用 Java 语言实现的 Apache 的开源软件框架，在大量计算机组成的集群中实现了对海量数据的分布式计算。 结构框架 推荐架构 一个提供高可用的获取应用数据的分布式文件系统。从字面上来看，SecondaryNameNode 很容易被当作是 NameNode 的备份节点，其实不然。可以通过下图看 HDFS 中 SecondaryNameNode 的作用。NameNode主要是用来保存HDFS的元数据信息，比如命名空间信息，块信息等。当它运行的时候，这些
centos7搭建hadoop-3.3.0集群手记
06-28
### 回答1： 很高兴为您提供CentOS 7搭建Hadoop 3.3.集群的手记。 1. 安装Java 首先，需要安装Java。可以使用以下命令安装OpenJDK 8： sudo yum install java-1.8.-openjdk-devel 2. 下载Hadoop 下载Hadoop 3.3.版本，并将其解压缩到/opt目录下： sudo tar -xzf hadoop-3.3..tar.gz -C /opt 3. 配置Hadoop 进入Hadoop目录并编辑hadoop-env.sh文件： cd /opt/hadoop-3.3. sudo nano etc/hadoop/hadoop-env.sh 将JAVA_HOME设置为Java安装路径： export JAVA_HOME=/usr/lib/jvm/java-1.8.-openjdk 编辑core-site.xml文件： sudo nano etc/hadoop/core-site.xml 添加以下内容： <configuration> <property> <name>fs.defaultFS</name> <value>hdfs://localhost:900</value> </property> </configuration> 编辑hdfs-site.xml文件： sudo nano etc/hadoop/hdfs-site.xml 添加以下内容： <configuration> <property> <name>dfs.replication</name> <value>1</value> </property> <property> <name>dfs.namenode.name.dir</name> <value>/opt/hadoop-3.3./data/namenode</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>/opt/hadoop-3.3./data/datanode</value> </property> </configuration> 编辑mapred-site.xml文件： sudo cp etc/hadoop/mapred-site.xml.template etc/hadoop/mapred-site.xml sudo nano etc/hadoop/mapred-site.xml 添加以下内容： <configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> </configuration> 编辑yarn-site.xml文件： sudo nano etc/hadoop/yarn-site.xml 添加以下内容： <configuration> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <property> <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name> <value>org.apache.hadoop.mapred.ShuffleHandler</value> </property> </configuration> 4. 启动Hadoop 格式化Hadoop文件系统： sudo bin/hdfs namenode -format 启动Hadoop： sudo sbin/start-all.sh 5. 验证Hadoop 在浏览器中访问http://localhost:987/，可以看到Hadoop集群的状态。 在Hadoop集群中创建一个目录： sudo bin/hdfs dfs -mkdir /test 在Hadoop集群中上传一个文件： sudo bin/hdfs dfs -put etc/hadoop/core-site.xml /test 在Hadoop集群中查看文件： sudo bin/hdfs dfs -ls /test 以上就是CentOS 7搭建Hadoop 3.3.集群的手记，希望对您有所帮助。 ### 回答2： 本篇文章主要介绍了如何在CentOS7系统上搭建Hadoop-3.3.0的集群，并在这个过程中遇到的一些问题和解决方案。 一、环境准备 操作系统：CentOS7 JDK版本：1.8.0_282 Hadoop版本：hadoop-3.3.0.tar.gz（可自行到官网下载） 二、系统设置 1、关闭防火墙 因为Hadoop集群需要互相通信和数据传输，所以需要关闭系统的防火墙，以避免互相之间的阻拦。 systemctl stop firewalld systemctl disable firewalld 2、设置hostname 为了方便节点之间的通信，需要给每个节点设置一个唯一的hostname。可以通过以下命令设置： hostnamectl set-hostname <hostname> 三、安装 JDK Hadoop运行依赖于JDK，需要先安装JDK。这里默认已经安装了openjdk-1.8.0_282版本，因此就不再重复说明了。如果您还没有安装JDK，可以通过以下命令进行安装： yum install java-1.8.0-openjdk-devel.x86_64 四、安装 Hadoop 1、解压缩 Hadoop 将下载好的hadoop-3.3.0.tar.gz复制到/opt/目录下，并解压缩： tar -zxvf hadoop-3.3.0.tar.gz 2、配置Hadoop环境变量 配置Hadoop环境变量，可以方便我们在任何地方都能够使用hadoop相关命令。在/etc/profile.d/目录下创建一个hadoop.sh文件，输入以下内容： export HADOOP_HOME=/opt/hadoop-3.3.0 export PATH=$HADOOP_HOME/bin:$PATH 最后执行以下命令，让环境变量生效： source /etc/profile 3、配置Hadoop 进入hadoop-3.3.0目录下，修改etc/hadoop/hadoop-env.sh文件，将JAVA_HOME指向正确的JDK目录： export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.282.b08-1.el7_9.x86_64 接下来修改etc/hadoop/core-site.xml文件，添加以下配置： <configuration> <property> <name>fs.defaultFS</name> <value>hdfs://<NameNode_IP>:9000</value> </property> </configuration> 其中，NameNode_IP需要替换为NameNode的IP地址。 修改etc/hadoop/hdfs-site.xml文件，添加以下配置： <configuration> <property> <name>dfs.replication</name> <value>2</value> </property> <property> <name>dfs.namenode.name.dir</name> <value>/opt/hdfs/namenode</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>/opt/hdfs/datanode</value> </property> <property> <name>dfs.namenode.datanode.registration.ip-hostname-check</name> <value>false</value> </property> </configuration> 其中，dfs.replication表示副本数，dfs.namenode.name.dir表示NameNode元数据的存放路径，dfs.datanode.data.dir表示DataNode数据的存放路径，dfs.namenode.datanode.registration.ip-hostname-check设置为false表示关闭IP和hostname的检查，否则可能会导致节点无法正常注册。 最后，在etc/hadoop/mapred-site.xml和etc/hadoop/yarn-site.xml文件中添加以下内容： mapred-site.xml： <configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> </configuration> yarn-site.xml： <configuration> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> </configuration> 五、配置ssh免密登录 在Hadoop集群中，各个节点之间需要相互通信，并且需要使用ssh远程登录操作。为了方便操作，可以实现ssh免密登录，即在各个节点之间可以直接相互访问而无需输入密码。具体实现步骤如下： 1、在每个节点上生成公钥和私钥 ssh-keygen -t rsa 2、将公钥拷贝到各个节点上 ssh-copy-id -i ~/.ssh/id_rsa.pub <hostname> 其中，<hostname>需要替换成对应节点的hostname。 3、测试是否成功 ssh <hostname> 如果可以直接登录而无需输入密码，则表示ssh免密登录配置成功。 六、启动Hadoop集群 1、启动Hadoop 首先需要启动NameNode和DataNode，使用以下命令启动： hadoop-daemon.sh start namenode hadoop-daemon.sh start datanode 然后启动ResourceManager和NodeManager，使用以下命令启动： yarn-daemon.sh start resourcemanager yarn-daemon.sh start nodemanager 启动成功后使用jps命令查看进程，看是否启动正常。 2、验证Hadoop 在启动Hadoop集群之后，可以通过以下命令验证是否正常： hadoop fs -mkdir /test hadoop fs -ls / 如果命令执行没有报错，则表示Hadoop集群启动成功并且在操作系统上正常运行。 以上便是在CentOS7系统上搭建Hadoop-3.3.0集群的过程。在实际操作中可能还会遇到一些其他的问题，需要我们不断的尝试和调试。相信通过这篇文章，读者可以对Hadoop的安装和配置有更深入的理解，并可以顺利搭建自己的Hadoop集群。 ### 回答3： CentOS 7是一种广泛使用的Linux操作系统，用于服务器和桌面应用程序。Hadoop是一个开源的分布式计算框架，专门用于处理大规模数据。在本文中，将介绍如何在CentOS 7上安装Hadoop 3.3.0，并建立Hadoop集群。 1. 安装Java 由于Hadoop是使用Java编写的，因此必须首先在系统上安装Java。可以使用以下命令来安装Oracle Java： ```shell $ sudo yum install java-1.8.0-openjdk-devel ``` Java将安装在`/usr/lib/jvm/java-1.8.0-openjdk`目录中。 2. 配置DNS 为了更好地管理Hadoop集群，可以将每个节点的IP地址映射到相应的主机名。可以在/etc/hosts文件中添加这些条目。例如，假设存在以下主机： - 192.168.1.10：master - 192.168.1.11：slave1 - 192.168.1.12：slave2 可以在每个节点上编辑/etc/hosts文件，添加以下内容： ```shell 192.168.1.10 master 192.168.1.11 slave1 192.168.1.12 slave2 ``` 3. 安装Hadoop 可以从Hadoop官方网站下载Hadoop二进制文件，或者使用以下命令下载并解压缩最新版本： ```shell $ wget https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-3.3.0/hadoop-3.3.0.tar.gz $ tar -xzvf hadoop-3.3.0.tar.gz -C /opt ``` Hadoop将解压缩到/opt/hadoop-3.3.0目录中。 4. 配置Hadoop 接下来需要配置Hadoop。可以在/opt/hadoop-3.3.0/etc/hadoop目录中找到所有Hadoop配置文件。必须编辑以下文件： - core-site.xml - hdfs-site.xml - mapred-site.xml - yarn-site.xml 第一个文件是core-site.xml。在每个节点上打开此文件，并添加以下配置： ```xml <configuration> <property> <name>fs.defaultFS</name> <value>hdfs://master:9000/</value> </property> </configuration> ``` 第二个文件是hdfs-site.xml。在每个节点上打开此文件，并添加以下配置： ```xml <configuration> <property> <name>dfs.replication</name> <value>2</value> </property> <property> <name>dfs.namenode.name.dir</name> <value>/opt/hadoop-3.3.0/data/namenode</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>/opt/hadoop-3.3.0/data/datanode</value> </property> </configuration> ``` 第三个文件是mapred-site.xml。在每个节点上打开此文件，并添加以下配置： ```xml <configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> </configuration> ``` 最后一个文件是yarn-site.xml。在每个节点上打开此文件，并添加以下配置： ```xml <configuration> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <property> <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name> <value>org.apache.hadoop.mapred.ShuffleHandler</value> </property> </configuration> ``` 5. 配置SSH 为了在集群节点之间进行通信，必须配置SSH。可以使用以下命令在每个节点上安装SSH客户端和服务器： ```shell $ sudo yum install openssh-server openssh-clients ``` 要在所有节点上免密码认证，必须使用以下命令生成SSH秘钥： ```shell $ ssh-keygen -t rsa ``` 按照默认设置创建SSH秘钥对，并在使用此命令的过程中将公共SSH秘钥添加到所有节点上的~/.ssh/authorized_keys文件中： ```shell $ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys ``` 6. 启动Hadoop 现在，可以在集群节点上启动Hadoop。首先要格式化NameNode： ```shell $ /opt/hadoop-3.3.0/bin/hdfs namenode -format ``` 然后，在master节点上启动Hadoop： ```shell $ /opt/hadoop-3.3.0/sbin/start-all.sh ``` 这将启动Hadoop集群中的所有节点。可以在每个节点上检查日志，以确保节点正在正确运行： ```shell $ tail -f /opt/hadoop-3.3.0/logs/*.log ``` 7. 使用Hadoop 现在，可以在Hadoop集群上运行MapReduce作业。可以使用Hadoop的example程序来运行简单的MapReduce任务。例如，可以使用以下命令来运行wordcount程序： ```shell $ /opt/hadoop-3.3.0/bin/hadoop jar /opt/hadoop-3.3.0/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.0.jar wordcount input output ``` 该命令将从input目录中读取数据，并将结果写入output目录。可以使用以下命令查看输出： ```shell $ /opt/hadoop-3.3.0/bin/hdfs dfs -cat output/* ``` 以上是搭建Hadoop集群的基本步骤，如果需要实现更复杂的功能，可以在这些基本步骤的基础上进行进一步的配置和调整。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值