大数据技术之Hadoop(入门)概述、运行环境搭建、运行模式


1 Hadoop 概述

1.1 Hadoop 是什么

(1)Hadoop是一个由Apache基金会所开发的分布式系统基础架构
(2)主要解决海量数据的存储和海量数据的分析计算问题
(3)广义上来说,Hadoop通常是指一个更广泛的概念——Hadoop生态圈

1.2 Hadoop 优势

(1)高可靠性:Hadoop底层维护多个数据副本,所以即使Hadoop某个计算元素或存储出现故障,也不会导致数据的丢失。
(2)高扩展性:在集群间分配任务数据,可方便的扩展数以千计的节点。
(3)高效性:在MapReduce的思想下,Hadoop是并行工作的,以加快任务处理速度。
(4)高容错性:能够自动将失败的任务重新分配。

1.3 Hadoop 组成(面试重点)

在这里插入图片描述
在Hadoop1.x 时代,Hadoop中的MapReduce同时处理业务逻辑运算和资源的调度,耦合性较大。
在Hadoop2.x时代,增加了Yarn。Yarn只负责资源的调度,MapReduce 只负责运算。
Hadoop3.x在组成上没有变化。

1.3.1 HDFS 架构概述

Hadoop Distributed File System,简称HDFS,是一个分布式文件系统。

(1)NameNode(nn):存储文件的元数据,如文件名文件目录结构文件属性(生成时间、副本数、文件权限),以及每个文件的块列表块所在的DataNode等。
(2)DataNode(dn):在本地文件系统存储文件块数据,以及块数据的校验和
(3)Secondary NameNode(2nn):每隔一段时间对NameNode元数据备份

1.3.2 YARN 架构概述

Yet Another Resource Negotiator 简称YARN ,另一种资源协调者,是Hadoop 的资源管理器。
在这里插入图片描述

ResourceManager(RM):整个集群资源(内存、CPU等)的管理者
NodeManager(NM):单个节点服务器资源的管理者。
ApplicationMaster(AM):单个任务运行的管理者。
Container:容器,相当于一台独立的服务器,里面封装了任务运行所需要的资源,如内存、CPU、磁盘、网络等。

说明:
(1)客户端可以有多个
(2)集群上可以运行多个ApplicationMaster
(3)每个NodeManager上可以有多个Container

1.3.3 MapReduce 架构概述

MapReduce 将计算过程分为两个阶段:Map 和Reduce
1)Map 阶段并行处理输入数据
2)Reduce 阶段对Map 结果进行汇总
在这里插入图片描述

1.3.4 HDFS、YARN、MapReduce 三者关系

如图所示:
在这里插入图片描述

1.3.5 大数据技术生态体系

如图所示:
在这里插入图片描述
图中涉及的技术名词解释如下:

(1)Sqoop:Sqoop 是一款开源的工具,主要用于在Hadoop、Hive 与传统的数据库(MySQL)间进行数据的传递,可以将一个关系型数据库(例如 :MySQL,Oracle 等)中的数据导进到Hadoop 的HDFS 中,也可以将HDFS 的数据导进到关系型数据库中。
(2)Flume:Flume 是一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统,Flume 支持在日志系统中定制各类数据发送方,用于收集数据。
(3)Kafka:Kafka 是一种高吞吐量的分布式发布订阅消息系统。
(4)Spark:Spark 是当前最流行的开源大数据内存计算框架。可以基于Hadoop 上存储的大数据进行计算。
(5)Flink:Flink 是当前最流行的开源大数据内存计算框架。用于实时计算的场景较多。
(6)Oozie:Oozie 是一个管理Hadoop 作业(job)的工作流程调度管理系统。
(7)Hbase:HBase 是一个分布式的、面向列的开源数据库。HBase 不同于一般的关系数据库,它是一个适合于非结构化数据存储的数据库。
(8)Hive:Hive 是基于Hadoop 的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供简单的SQL 查询功能,可以将SQL 语句转换为MapReduce 任务进行运行。其优点是学习成本低,可以通过类SQL 语句快速实现简单的MapReduce 统计,不必开发专门的MapReduce 应用,十分适合数据仓库的统计分析。
(9)ZooKeeper:它是一个针对大型分布式系统的可靠协调系统,提供的功能包括:配置维护、名字服务、分布式同步、组服务等。

1.3.6 推荐系统框架图

推荐系统项目框架
在这里插入图片描述

2 Hadoop 运行环境搭建(开发重点)

2.1 模板虚拟机环境准备

2.1.1 hadoop100 虚拟机配置要求如下

(1)使用 yum 安装需要虚拟机可以正常上网,yum 安装前可以先测试下虚拟机联网情况

[root@hadoop100 ~]# ping www.baidu.com

(2)安装epel-release

[root@hadoop100 ~]# yum install -y epel-release

(3)注意:如果Linux 安装的是最小系统版,还需要安装如下工具;如果安装的是Linux桌面标准版,不需要执行如下操作
net-tool:工具包集合,包含ifconfig 等命令
vim:编辑器

[root@hadoop100 ~]# yum install -y net-tools
[root@hadoop100 ~]# yum install -y vim

2.1.2 关闭防火墙,关闭防火墙开机自启

[root@hadoop100 ~]# systemctl stop firewalld
[root@hadoop100 ~]# systemctl disable firewalld.service

2.1.3 创建普通用户,并修改普通用户的密码

[root@hadoop100 ~]# useradd Tom
[root@hadoop100 ~]# passwd Tom

2.1.4 配置普通用户具有 root 权限,方便后期加sudo 执行 root 权限的命令

[root@hadoop100 ~]# vim /etc/sudoers

修改/etc/sudoers 文件,在%wheel 这行下面添加一行,如下所示:
在这里插入图片描述
注意:Tom这一行不要直接放到 root行下面,因为所有用户都属于 wheel组,你先配置了Tom具有免密功能,但是程序执行到 %wheel行时, 该功能又被覆盖回需要密码 。所以Tom要放到 %wheel这行下面。

2.1.5 在 /opt目录下创建文件夹 ,并修改所属用户和所属组
在这里插入图片描述
2.1.6 卸载虚拟机自带的 JDK

[root@hadoop100 ~]# rpm -qa | grep -i java | xargs -n1 rpm -e --nodeps

rpm -qa:查询所安装的所有rpm软件包
grep -i:忽略大小写
xargs -n1:表示每次只传递一个参数
rpm -e --nodeps:强制卸载软件
注意:注意:如果你的虚拟机是最小化安装不需要执行这一步。

2.1.7 重启虚拟机

[root@hadoop100 ~]# reboot

2.2 克隆虚拟机

2.2.1 利用模板机 hadoop100,克隆 三台虚拟机 hadoop102 hadoop103 hadoop104

注意:克隆时,要先关闭 hadoop100

2.2.2 修改克隆机 IP,以 hadoop102 举例说明

(1)修改克隆虚拟机的静态 IP:

[Tom@hadoop100 ~]# vim /etc/sysconfig/network-scripts/ifcfg-ens33 

在这里插入图片描述
(2)查看 Linux虚拟机的虚拟网络编辑器,编辑 ->虚拟网络编辑器 ->VMnet8
在这里插入图片描述
在这里插入图片描述
(3)查看 Windows系统适配器 VMware Network Adapter VMnet8的 IP地址

在这里插入图片描述
(4)保证 Linux系统 ifcfg-ens33文件中 IP地址、虚拟网络编辑器地址和 Windows系统 VMnet8网络 IP地址相同。

2.2.3 修改克隆机主机名 ,以 hadoop102举例说明

(1)修改主机名称

[root@hadoop100 ~]# vim /etc/hostname 

(2)配置 Linux克隆机主机名称映射 hosts文件 打开 /etc/hosts

[root@hadoop100 ~]# vim /etc/hosts

在这里插入图片描述
2.2.4 重启克隆机 hadoop102

[root@hadoop100 ~]# reboot

2.2.5 修改 windows的主机映射文件(hosts文件)

进入C:\Windows\System32\drivers\etc路径,打开 hosts文件并添加如下内容 ,然后保存。
在这里插入图片描述

2.3 在 hadoop102 安装 JDK

(1)卸载现有 JDK
注意:安装 JDK前,一定确保提前删除了虚拟机自带的 JDK。

(2)用 XShell传输工具将 JDK导入到 opt目录下面的 software文件夹下面

(3)在 Linux系统下的 opt目录中查看软件包是否导入成功

[Tom@hadoop102 ~]$ ls /opt/software/
jdk-8u212-linux-x64.tar.gz

(4)解压 JDK到 /opt/module目录下

[Tom@hadoop102 software]$ tar -zxvf jdk-8u212-linux-x64.tar.gz -C /opt/module/

(5)配置 JDK环境变量

[Tom@hadoop102 software]$ sudo vim /etc/profile.d/my_env.sh 

在这里插入图片描述
source一下 /etc/profile文件 ,让新的环境变量 PATH生效

[Tom@hadoop102 software]$ source /etc/profile

测试JDK是否安装成功

[Tom@hadoop102 software]$ java -version
java version "1.8.0_212"
Java(TM) SE Runtime Environment (build 1.8.0_212-b10)
Java HotSpot(TM) 64-Bit Server VM (build 25.212-b10, mixed mode)
[Tom@hadoop102 software]$ 

2.4 在 hadoop102 安装 Hadoop

(1)用 XShell文件传输 工具将 hadoop-3.1.3.tar.gz导入到 opt目录下面的 software文件夹下面

(2)解压安装文件到 /opt/module下面

[Tom@hadoop102 software]$ tar -zxvf hadoop-3.1.3.tar.gz -C /opt/module/

(3)查看是否解压成功

[Tom@hadoop102 software]$ ls /opt/module/
hadoop-3.1.3  jdk1.8.0_212

(4)将 Hadoop添加到环境变量

[Tom@hadoop102 software]$ sudo vim /etc/profile.d/my_env.sh 

在这里插入图片描述
让修改后的文件生效

[Tom@hadoop102 software]$ source /etc/profile

(5)测试是否安装成功

[Tom@hadoop102 software]$ hadoop version
Hadoop 3.1.3
Source code repository https://gitbox.apache.org/repos/asf/hadoop.git -r ba631c436b806728f8ec2f54ab1e289526c90579
Compiled by ztang on 2019-09-12T02:47Z
Compiled with protoc 2.5.0
From source with checksum ec785077c385118ac91aadde5ec9799
This command was run using /opt/module/hadoop-3.1.3/share/hadoop/common/hadoop-common-3.1.3.jar
[Tom@hadoop102 software]$ 

(6)重启 如果 Hadoop命令不能用再重启虚拟机

[Tom@hadoop102 hadoop-3.1.3]$ sudo reboot

2.5 Hadoop 目录结构

查看 Hadoop目录结构

[Tom@hadoop102 hadoop-3.1.3]$ ll
总用量 184
-rw-rw-r--. 1 Tom Tom     25 5月  28 16:49 a.txt
drwxr-xr-x. 2 Tom Tom    183 9月  12 2019 bin
drwxrwxr-x. 4 Tom Tom     37 5月  29 10:54 data
drwxr-xr-x. 3 Tom Tom     20 9月  12 2019 etc
drwxrwxr-x. 3 Tom Tom     18 5月  29 10:53 hdfsdata
drwxr-xr-x. 2 Tom Tom    106 9月  12 2019 include
drwxr-xr-x. 3 Tom Tom     20 9月  12 2019 lib
drwxr-xr-x. 4 Tom Tom    288 9月  12 2019 libexec
-rw-rw-r--. 1 Tom Tom 147145 9月   4 2019 LICENSE.txt
drwxrwxr-x. 3 Tom Tom   4096 5月  29 15:36 logs
-rw-rw-r--. 1 Tom Tom  21867 9月   4 2019 NOTICE.txt
-rw-rw-r--. 1 Tom Tom   1366 9月   4 2019 README.txt
drwxr-xr-x. 3 Tom Tom   4096 9月  12 2019 sbin
drwxr-xr-x. 4 Tom Tom     31 9月  12 2019 share
drwxrwxr-x. 2 Tom Tom     22 5月   6 22:23 wcinput
[Tom@hadoop102 hadoop-3.1.3]$ 

重要目录

(1) bin目录:存放对 Hadoop相关服务( hdfs yarn mapred)进行操作的脚本
(2)etc目录: Hadoop的配置文件目录,存放 Hadoop的配置文件
(3) lib目录:存放 Hadoop的本地库(对数据进行压缩解压缩功能)
(4) sbin目录:存放启动或停止 Hadoop相关服务的脚本
(5) share目录:存放 Hadoop的依赖 jar包 、文档和官方案例

3 Hadoop 运行模式

Hadoop官方网站: http://hadoop.apache.org/

Hadoop运行模 式包括:本地模式伪分布式模式以及完全分布式模式

本地模式:单机运行,只是用来演示一下官方案例。 生产环境不用。
伪分布式模式: 也是单机运行,但是具备 Hadoop集群的所有功能。一台服务器模拟一个分布式的环境 。个别缺钱的公司用来测试,生产环境不用。
完全分布式模式: 多台服务器组成分布式环境。 生产环境使用

完全分布式模式搭建步骤:
(1)准备 3台客户机( 关闭防火墙、静态 IP、主机名称)
(2)安装 JDK
(3)配置环境变量
(4)安装 Hadoop
(5)配置环境变量
(6)配置集群
(7)单点启动
(8)配置ssh
(9)群起并测试集群

3.1 编写集群分发脚本 xsync

(1)scp (secure copy):安全拷贝

scp可以实现服务器与服务器之间的数据拷贝 。(from server1 to server2)
基本语法:
在这里插入图片描述
(2)rsync远程同步工具

rsync主要用于备份和镜像。具有速度快、避免复制相同内容和支持符号链接的优点。
rsync和 scp区别: 用 rsync做文件的复制要比 scp的速度快, rsync只对差异文件做更新。 scp是把所有文件都复制过去。
基本语法:
在这里插入图片描述
(3)xsync集群分发脚本

需求:循环复制文件到所有节点的相同目录下

需求分析:
rsync命令原始拷贝:

rsync -av /opt/module/ Tom@hadoop103:/opt/

期望脚本:xsync要同步的文件名称
期望脚本在任何路径都能使用 (脚本放在声明了全局环境变量的路径)

[Tom@hadoop102 bin]$ echo $PATH

脚本实现:在 /home/Tom/bin目录下创建 xsync文件

#!/bin/bash

#1. 判断参数个数
if [ $# -lt 1 ]
then
        echo Not Enough Arguement!
        exit;
fi

#2. 遍历集群所有机器
for host in hadoop102 hadoop103 hadoop104
do
        echo ==================== $host ====================
        #3. 遍历所有目录,挨个发送

        for file in $@
        do
                #4. 判断文件是否存在
                if [ -e $file ]
                        then
                                #5. 获取父目录
                                pdir=$(cd -P $(dirname $file); pwd)

                                #6. 获取当前文件的名称
                                fname=$(basename $file)
                                ssh $host "mkdir -p $pdir"
                                rsync -av $pdir/$fname $host:$pdir
                        else
                                echo $file does not exists!
                fi
        done
done

修改脚本 xsync 具有执行权限:

[Tom@hadoop102 bin]$ chmod +x xsync 

测试脚本:

[Tom@hadoop102 bin]$ xsync /home/Tom/bin/

将脚本复制到 /bin中,以便全局调用:

[Tom@hadoop102 bin]$ sudo cp xsync /bin/

同步环境变量配置( root所有者)
注意:如果用了 sudo,那么 xsync一定要给它的路径补全。

[Tom@hadoop102 ~]$ sudo ./bin/xsync 

让环境变量生效:

[Tom@hadoop103 ~]$ source /etc/profile
[Tom@hadoop104 ~]$ source /etc/profile

3.2 SSH 无密登录配置

配置 ssh
基本语法:ssh 另一台电脑的 IP地址

无密钥配置

免密登录原理:
在这里插入图片描述
生成公钥和私钥

[Tom@hadoop102 .ssh]$ pwd
/home/Tom/.ssh

[Tom@hadoop102 .ssh]$ ssh-keygen -t rsa

然后敲(三个回车),就会生成两个文件id_rsa(私钥)、id_rsa.pub(公钥)

将公钥拷贝到要免密登录的目标机器上

[Tom@hadoop102 .ssh]$ ssh-copy-id hadoop102
[Tom@hadoop102 .ssh]$ ssh-copy-id hadoop103
[Tom@hadoop102 .ssh]$ ssh-copy-id hadoop104

注意:还需要在hadoop103 上采用 Tom账号配置一下无密登录到hadoop102、hadoop103、hadoop104 服务器上。
在hadoop104 上采用 Tom账号配置一下无密登录到hadoop102、hadoop103、hadoop104 服务器上。
在hadoop102 上采用root 账号,配置一下无密登录到hadoop102、hadoop103、hadoop104。

.ssh 文件夹下(~/.ssh)的文件功能解释
在这里插入图片描述

3.3 集群配置

集群部署规划

(1)NameNodeSecondaryNameNode不要安装在同一台服务器。
(2)ResourceManager也很消耗内存,不要和 NameNodeSecondaryNameNode配置在同一台机器上。
在这里插入图片描述
配置文件说明

Hadoop配置文件分两类:默认配置文件和自定义配置文件,只有用户想修改某一默认配置值时,才需要修改自定义配置文件,更改相应属性值。

(1)默认配置文件
在这里插入图片描述
(2)自定义配置文件

core-site.xmlhdfs-site.xmlyarn-site.xmlmapred-site.xml四个配置文件存放在$HADOOP_HOME/etc/hadoop这个路径上,用户可以根据项目需求重新进行修改配置。

配置集群

(1)核心配置文件 配置core-site.xml

[Tom@hadoop102 hadoop]$ vim /opt/module/hadoop-3.1.3/etc/hadoop/core-site.xml 
<configuration>
<!--指定NameNode的地址-->
<property>
        <name>fs.defaultFS</name>
        <value>hdfs://hadoop102:8020</value>
</property>

<!--指定hadoop数据的存储目录-->
<property>
        <name>hadoop.tmp.dir</name>
        <value>/opt/module/hadoop-3.1.3/data</value>
</property>

<!--配置HDFS网页登录使用的静态用户为Tom -->
<property>
        <name>hadoop.http.staticuser.user</name>
<value>Tom</value>
</property>
</configuration>

(2)HDFS配置文件 配置 hdfs-site.xml

[Tom@hadoop102 hadoop]$ vim /opt/module/hadoop-3.1.3/etc/hadoop/hdfs-site.xml 
<configuration>
        <!--nn web端访问地址-->
        <property>
                <name>dfs.namenode.http-address</name>
                <value>hadoop102:9870</value>
        </property>
        <!--2nn web端访问地址-->
        <property>
                <name>dfs.namenode.secondary.http-address</name>
                <value>hadoop104:9868</value>
        </property>
</configuration>

(3)YARN配置文件 配置 yarn-site.xml

[Tom@hadoop102 hadoop]$ vim /opt/module/hadoop-3.1.3/etc/hadoop/yarn-site.xml 
<configuration>
        <!--指定MR走shuffle -->
        <property>
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
        </property>
        <!--指定ResourceManager的地址-->
        <property>
                <name>yarn.resourcemanager.hostname</name>
                <value>hadoop103</value>
        </property>
        <!--环境变量的继承-->
        <property>
                <name>yarn.nodemanager.env-whitelist</name>
                <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
        </property>
</configuration>

(4)MapReduce配置文件 配置 mapred-site.xml

[Tom@hadoop102 hadoop]$ vim /opt/module/hadoop-3.1.3/etc/hadoop/mapred-site.xml 
<configuration>
    <!--指定MapReduce程序运行在Yarn上-->
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

在集群上分发配置好的 Hadoop配置文件

[Tom@hadoop102 hadoop]$ xsync /opt/module/hadoop-3.1.3/etc/hadoop/

去 103和 104上查看文件分发情况

[Tom@hadoop103 ~]$ cat /opt/module/hadoop-3.1.3/etc/hadoop/core-site.xml 
[Tom@hadoop104 ~]$ cat /opt/module/hadoop-3.1.3/etc/hadoop/core-site.xml 

3.4 群起集群

配置 workers

[Tom@hadoop102 hadoop]$ vim /opt/module/hadoop-3.1.3/etc/hadoop/workers 

在该文件中增加如下内容:

hadoop102
hadoop103
hadoop104

同步所有节点配置文件

[Tom@hadoop102 hadoop]$ xsync /opt/module/hadoop-3.1.3/etc/

启动集群

(1)如果集群是第一次启动 ,需要在 hadoop102节点格式化 NameNode(注意格式化 NameNode会产生新的集群 id导致 NameNode和 DataNode的集群 id不一致,集群找不到已往数据。 如果集群在运行过程中报错,需要重新格式化 NameNode的话, 一定要先停止 namenode和 datanode进程, 并且要删除所有机器的 data和 logs目录,然后再进行格式化。)

[Tom@hadoop102 hadoop-3.1.3]$ hdfs namenode -format

(2)启动 HDFS

[Tom@hadoop102 hadoop-3.1.3]$ sbin/start-dfs.sh

(3)在配置了 ResourceManager的节点 hadoop103 启动 YARN

[Tom@hadoop103 hadoop-3.1.3]$ sbin/start-yarn.sh

(4)Web端查看 HDFS的 NameNode
(a)浏览器中输入 http://hadoop102:9870
(b)查看 HDFS上存储的数据信息
在这里插入图片描述
(5)Web端查看 YARN的 ResourceManager
(a)浏览器 中输入 http://hadoop103:8088
(b)查看 YARN上运行的 Job信息
在这里插入图片描述
集群基本测试

(1)上传文件到集群

[Tom@hadoop102 hadoop-3.1.3]$ hadoop fs -put wcinput/ /input
[Tom@hadoop102 hadoop-3.1.3]$ hadoop fs -put /opt/software/jdk-8u212-linux-x64.tar.gz /

(2)上传文件后查看文件存放在什么位置
查看文件存储路径

[Tom@hadoop102 subdir0]$ pwd
/opt/module/hadoop-3.1.3/data/dfs/data/current/BP-572133316-192.168.10.102-1623663396433/current/finalized/subdir0/subdir0
[Tom@hadoop102 subdir0]$

查看 HDFS在磁盘存储文件内容

[Tom@hadoop102 subdir0]$ cat blk_1073741825
yes
ok
thanks
ok
you
yes
yes
[Tom@hadoop102 subdir0]$ 

(3)拼接

[Tom@hadoop102 subdir0]$ cat blk_1073741826>>tmp.tar.gz
[Tom@hadoop102 subdir0]$ cat blk_1073741827>>tmp.tar.gz
[Tom@hadoop102 subdir0]$ tar -zxvf tmp.tar.gz

(4)下载

[Tom@hadoop102 software]$ hadoop fs -get /jdk-8u212-linux-x64.tar.gz ./

3.5 配置历史服务器

为了查看程序的历史运行情况,需要配置一下历史服务器。具体配置步骤如下:

配置 mapred-site.xml

[Tom@hadoop102 hadoop-3.1.3]$ vim etc/hadoop/mapred-site.xml 
 <!--历史服务器端地址-->
    <property>
        <name>mapreduce.jobhistory.address</name>
        <value>hadoop102:10020</value>
    </property>
    <!--历史服务器web端地址-->
    <property>
        <name>mapreduce.jobhistory.webapp.address</name>
        <value>hadoop102:19888</value>
    </property>

分发配置

[Tom@hadoop102 hadoop-3.1.3]$ xsync etc/hadoop/mapred-site.xml 

在 hadoop102启动历史服务器

[Tom@hadoop102 hadoop-3.1.3]$ mapred --daemon start historyserver

查看历史服务器是否启动

[Tom@hadoop102 hadoop-3.1.3]$ jps

查看 JobHistory

http://hadoop102:19888/jobhistory

3.6 配置日志的聚集

日志聚集概念:应用运行完成以后,将程序运行日志信息上传到 HDFS系统上。
在这里插入图片描述
日志聚集功能好处 :可以方便的查看到程序运行详情,方便开发调试 。
开启日志聚集功能需要重新启动 NodeManager 、ResourceManager和HistoryServer。

开启日志聚集功能具体步骤如下:
(1)配置 yarn-site.xml

[Tom@hadoop102 hadoop-3.1.3]$ vim etc/hadoop/yarn-site.xml
<!--开启日志聚集功能-->
        <property>
        <name>yarn.log-aggregation-enable</name>
        <value>true</value>
        </property>
        <!--设置日志聚集服务器地址-->
        <property>
                <name>yarn.log.server.url</name>
                <value>http://hadoop102:19888/jobhistory/logs</value>
        </property>
        <!--设置日志保留时间为7天-->
        <property>
                <name>yarn.log-aggregation.retain-seconds</name>
                <value>604800</value>
        </property>

(2)分发配置

[Tom@hadoop103 hadoop-3.1.3]$ xsync etc/hadoop/yarn-site.xml 

(3)关闭 NodeManager 、 ResourceManager和 HistoryServer

[Tom@hadoop103 hadoop-3.1.3]$ sbin/stop-yarn.sh
[Tom@hadoop102 hadoop-3.1.3]$ mapred --daemon stop historyserver

(4)启动 NodeManager 、 ResourceManage和 HistoryServer

[Tom@hadoop103 hadoop-3.1.3]$ sbin/start-yarn.sh
[Tom@hadoop102 hadoop-3.1.3]$ mapred --daemon start historyserver

(5)删除 HDFS上已经存在的输出文件

[Tom@hadoop102 hadoop-3.1.3]$ hadoop fs -rm -r /output

(6)执行 WordCount程序

[Tom@hadoop102 hadoop-3.1.3]$ hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount /input /output

(7)查看日志

历史服务器地址:http://hadoop102:19888/jobhistory
历史任务列表:
在这里插入图片描述
查看任务运行日志:
在这里插入图片描述
运行日志详情:
在这里插入图片描述

3.7 集群启动/停止方式总结

各个模块分开启动 /停止(配置 ssh是前提)常用
(1)整体启动 /停止 HDFS

start dfs.sh/stop dfs.sh

(2)整体启动 /停止 YARN

start yarn.sh/stop yarn.sh

各个服务组件逐一启动 /停止
(1)分别启动 /停止 HDFS组件

hdfs daemon start/stop namenode/datanode/secondarynamenode

(2)启动 /停止 YARN

yarn daemon start/stop resourcemanager/nodemanager

3.8 编写 Hadoop集群常用脚本

Hadoop集群启停脚本(包含 HDFS, Yarn, Historyserver) : myhadoop.sh

[Tom@hadoop102 hadoop-3.1.3]$ cd /home/Tom/bin/
[Tom@hadoop102 bin]$ vim myhadoop.sh 
#!/bin/bash

if [ $# -lt 1 ]
then
        echo "No Args Input..."
        exit ;
fi

case $1 in
"start")
        echo " =================== 启动hadoop集群==================="
        echo " ---------------启动hdfs ---------------"
        ssh hadoop102 "/opt/module/hadoop-3.1.3/sbin/start-dfs.sh"
        echo " ---------------启动yarn ---------------"
        ssh hadoop103 "/opt/module/hadoop-3.1.3/sbin/start-yarn.sh"
        echo " ---------------启动historyserver ---------------"
        ssh hadoop102 "/opt/module/hadoop-3.1.3/bin/mapred --daemon start historyserver"
;;
"stop")
        echo " =================== 关闭hadoop集群==================="
        echo " ---------------关闭historyserver ---------------"
        ssh hadoop102 "/opt/module/hadoop-3.1.3/bin/mapred --daemon stop historyserver"
        echo " ---------------关闭yarn ---------------"
        ssh hadoop103 "/opt/module/hadoop-3.1.3/sbin/stop-yarn.sh"
        echo " ---------------关闭hdfs ---------------"
        ssh hadoop102 "/opt/module/hadoop-3.1.3/sbin/stop-dfs.sh"
;;
*)
        echo "Input Args Error..."
;;
esac

保存后退出,然后赋予脚本执行权限

[Tom@hadoop102 bin]$ chmod +x myhadoop.sh 

查看三台服务器 Java进程脚本: jpsall.sh

[Tom@hadoop102 hadoop-3.1.3]$ cd /home/Tom/bin/
[Tom@hadoop102 bin]$ vim jpsall.sh 
#!/bin/bash

for host in hadoop102 hadoop103 hadoop104
do
        echo =============== $host ===============
        ssh $host jps
done

保存后退出,然后赋予脚本执行权限

[Tom@hadoop102 bin]$ chmod +x jpsall.sh 

分发 /home/Tom/bin目录,保证自定义脚本在三台机器上都可以使用

[Tom@hadoop102 bin]$ xsync /home/Tom/bin/

3.9 常用端口号说明

在这里插入图片描述


参考:
https://www.bilibili.com/video/BV1Qp4y1n7ENspm_id_from=333.788.b_636f6d6d656e74.7

  • 440
    点赞
  • 4640
    收藏
    觉得还不错? 一键收藏
  • 23
    评论
搭建Hadoop需要进行以下步骤: 1. 下载并安装Linux系统,推荐使用CentOS或Ubuntu等常用Linux发行版。 2. 安装Java环境,Hadoop需要依赖Java环境运行。可以从官网下载JDK,并进行安装。 3. 下载Hadoop,从官网下载Hadoop稳定版或者最新版本。 4. 解压Hadoop,将下载的Hadoop压缩包解压到指定目录,例如/opt/hadoop。 5. 配置Hadoop环境变量,在/etc/profile文件中添加Hadoop的环境变量,例如: ``` export HADOOP_HOME=/opt/hadoop export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin ``` 6. 配置Hadoop集群,Hadoop需要配置core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml四个配置文件。具体配置可以参考Hadoop官方文档。 7. 格式化Hadoop文件系统,在Hadoop安装目录下执行以下命令: ``` hdfs namenode -format ``` 8. 启动Hadoop集群,在Hadoop安装目录下执行以下命令: ``` start-all.sh ``` 9. 检查Hadoop集群状态,在浏览器中输入http://localhost:50070/,可以看到Hadoop集群的状态信息。 以上就是搭建Hadoop的大致步骤,具体操作可以根据Hadoop官方文档进行参考。 是的,这些步骤大致涵盖了在Linux系统上搭建Hadoop的过程。然而,需要注意的是,这只是一个基本的搭建过程,实际上搭建Hadoop集群需要进行更多的配置和调整才能满足具体的需求。因此,最好参考Hadoop官方文档以及相关的教程进行操作。是的,这些步骤可以帮助您在Linux系统上安装和配置基本的Hadoop集群。但是,为了满足实际需求,您可能需要进行更多的配置和调整。例如,您可能需要配置Hadoop的安全性、容错性、高可用性等方面的功能,以确保集群的稳定和安全性。另外,还有一些优化操作可以提高Hadoop集群的性能,如调整内存分配、调整Hadoop配置参数等。 因此,建议您参考Hadoop官方文档和相关的教程,了解更多关于搭建和配置Hadoop集群的信息和实践经验。同时,也建议您在操作之前备份数据和配置文件,以避免意外情况的发生。搭建Hadoop需要以下步骤: 1. 下载Hadoop二进制文件:从Hadoop官方网站下载最新的Hadoop二进制文件,解压缩到想要安装的目录。 2. 配置环境变量:编辑/etc/profile文件,设置JAVA_HOME和HADOOP_HOME变量,然后把$HADOOP_HOME/bin目录添加到PATH中。 3. 配置Hadoop:编辑$HADOOP_HOME/etc/hadoop目录下的配置文件,主要包括core-site.xml、hdfs-site.xml和mapred-site.xml三个文件。具体配置可以参考Hadoop官方文档。 4. 启动Hadoop:使用命令行进入$HADOOP_HOME目录,执行sbin/start-all.sh启动Hadoop。执行jps命令可以查看Hadoop是否成功启动。 以上是简单的搭建Hadoop的步骤,具体操作需要参考Hadoop官方文档和相关教程。谢谢你的补充和纠正。你提供的步骤与我之前给出的步骤类似,但是更加简洁明了。不过,像你所说的,搭建Hadoop集群需要更多的配置和调整才能满足具体的需求,因此建议参考Hadoop官方文档和相关教程进行操作。 要在Linux上搭建Hadoop,您可以按照以下步骤进行: 1. 在Linux上安装Java运行环境(JRE或JDK)。 2. 下载Hadoop的最新版本,并解压到您的Linux系统中的目录中。 3. 配置Hadoop环境变量:编辑~/.bashrc文件,在其中添加以下行: export HADOOP_HOME=/path/to/hadoop export PATH=$PATH:$HADOOP_HOME/bin 4. 配置Hadoop集群的基本设置,包括节点名称、数据存储位置、Hadoop日志存储位置等。这些设置在Hadoop的配置文件中进行修改,包括: - core-site.xml - hdfs-site.xml - mapred-site.xml - yarn-site.xml 这些文件通常位于$HADOOP_HOME/etc/hadoop目录下。 5. 启动Hadoop集群:使用以下命令启动Hadoop集群: $HADOOP_HOME/sbin/start-all.sh 6. 测试Hadoop集群:使用以下命令测试Hadoop集群: $HADOOP_HOME/bin/hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar pi 16 1000 以上是在Linux上搭建Hadoop的基本步骤。如果您需要更详细的步骤或具体的配置指南,请参考Hadoop官方文档或相关的教程。要在Linux上搭建Hadoop,您可以按照以下步骤进行操作: 1. 首先,确保您的Linux系统上已安装Java。可以在终端中运行`java -version`命令来检查Java是否已安装。 2. 接下来,下载并安装Hadoop。您可以从官方网站(https://hadoop.apache.org/releases.html)下载Hadoop软件包。下载后,将其解压缩到您希望安装Hadoop的目录中。 3. 接下来,配置Hadoop。编辑Hadoop配置文件,以指定Hadoop应该如何运行。在配置文件中,您需要设置Hadoop所需的一些环境变量,如JAVA_HOME和HADOOP_HOME等。 4. 配置Hadoop集群。根据您的需求,您可以配置Hadoop集群,以实现更高的可靠性和性能。这包括配置Hadoop集群的主节点和从节点等。 5. 最后,启动Hadoop集群。在启动Hadoop集群之前,请确保所有配置都正确。启动Hadoop集群后,您可以通过Web界面或终端访问它。 这些是在Linux上搭建Hadoop的一般步骤。请注意,Hadoop是一个复杂的系统,需要一定的技术知识和经验。在进行安装和配置之前,请确保您已经熟悉Hadoop的基本概念和操作方法。 这可能有点复杂,但是你可以通过几个步骤来安装Hadoop:1、安装Java环境;2、下载Hadoop安装包;3、设置Hadoop环境变量;4、配置Hadoop文件;5、启动Hadoop实例。要在Linux上搭建Hadoop,您可以按照以下步骤进行操作: 1. 首先,您需要在Linux上安装Java,因为Hadoop是基于Java开发的。可以通过运行以下命令来安装Java: ``` sudo apt-get install openjdk-8-jdk ``` 2. 下载并解压Hadoop软件包。您可以从Hadoop官网下载最新版本的Hadoop软件包。解压后将Hadoop文件夹移动到/opt目录下。 3. 配置Hadoop环境变量。打开.bashrc文件,并在文件末尾添加以下行: ``` export HADOOP_HOME=/opt/hadoop-<version> export PATH=$PATH:$HADOOP_HOME/bin export PATH=$PATH:$HADOOP_HOME/sbin ``` 注意:请将上面的<version>替换为您下载的Hadoop版本号。 4. 配置Hadoop集群。您需要在Hadoop文件夹下的/etc/hadoop目录中编辑以下文件: - core-site.xml ``` <configuration> <property> <name>fs.default.name</name> <value>hdfs://localhost:9000</value> </property> </configuration> ``` - hdfs-site.xml ``` <configuration> <property> <name>dfs.replication</name> <value>1</value> </property> <property> <name>dfs.namenode.name.dir</name> <value>/opt/hadoop-<version>/hdfs/namenode</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>/opt/hadoop-<version>/hdfs/datanode</value> </property> </configuration> ``` - mapred-site.xml ``` <configuration> <property> <name>mapred.job.tracker</name> <value>localhost:9010</value> </property> </configuration> ``` - yarn-site.xml ``` <configuration> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <property> <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name> <value>org.apache.hadoop.mapred.ShuffleHandler</value> </property> </configuration> ``` 5. 格式化HDFS。运行以下命令格式化HDFS文件系统: ``` hdfs namenode -format ``` 6. 启动Hadoop集群。运行以下命令启动Hadoop集群: ``` start-all.sh ``` 如果一切顺利,您应该可以看到启动Hadoop集群的输出。 以上就是在Linux上搭建Hadoop的基本步骤。如果您需要使用更复杂的Hadoop配置,例如在集群中使用多个节点,您需要进行更多的配置。 很高兴为您提供帮助,您可以参考以下步骤:1.首先,在Linux服务器上安装Hadoop;2.然后,根据Hadoop的安装文档,配置Hadoop相关参数;3.最后,启动Hadoop,并测试Hadoop系统是否正常工作。搭建Hadoop需要一定的Linux操作系统知识和Hadoop相关知识,以下是一些概述步骤: 1.安装Linux操作系统并配置网络 2.安装Java环境,Hadoop需要Java 8以上版本 3.下载并解压Hadoop软件包 4.配置Hadoop环境变量和Hadoop配置文件 5.配置Hadoop的核心组件,如HDFS和YARN 6.启动Hadoop集群,测试Hadoop是否能够正常运行 7.如果需要的话,可以通过配置其他Hadoop组件,如Hive和HBase等 需要注意的是,搭建Hadoop需要一定的经验和技能,建议在熟悉LinuxHadoop相关知识后进行操作,或者借助专业的技术支持进行搭建。 搭建Hadoop集群的步骤有很多,但是可以简化为:1.安装Hadoop;2.配置Hadoop;3.启动Hadoop;4.设置Hadoop集群。在Linux系统上搭建Hadoop集群的详细步骤可以参考网上的教程。 很高兴能够帮助您,在搭建Hadoop时,您需要首先确保您的Linux系统已经安装了Java。接下来,您需要下载Hadoop的安装文件,并根据您的系统环境进行配置。最后,您可以使用文档中的命令来安装Hadoop。 要在Linux上搭建Hadoop集群,可以按照以下步骤进行: 1. 在所有节点上安装Java环境。可以使用命令"java -version"来检查是否已经安装了Java。 2. 下载Hadoop二进制文件,并解压到目标文件夹。可以使用命令"tar -xvf hadoop-<version>.tar.gz"进行解压。 3. 配置Hadoop集群的核心文件,包括hadoop-env.sh、core-site.xml、hdfs-site.xml、yarn-site.xml等。可以在Hadoop的conf目录下找到这些文件,并根据需要进行修改。 4. 配置Hadoop集群的节点信息,包括master节点和slave节点。可以在Hadoop的conf目录下找到文件"masters"和"slaves",并根据需要进行修改。 5. 格式化Hadoop集群的NameNode。可以使用命令"hdfs namenode -format"来格式化NameNode。 6. 启动Hadoop集群的各个节点。可以使用命令"./sbin/start-all.sh"来启动所有节点。 7. 检查Hadoop集群的状态。可以使用命令"jps"来检查Hadoop的各个组件是否已经启动,并使用命令"hdfs dfsadmin -report"来检查Hadoop集群的状态。 8. 部署MapReduce程序。可以使用Hadoop提供的命令行工具或Web界面来上传和运行MapReduce程序。 以上是在Linux系统上搭建Hadoop集群的基本步骤,具体的配置和部署过程可能会有所不同,可以根据具体情况进行调整。要在Linux系统上搭建Hadoop,需要遵循以下步骤: 1. 在Linux上安装Java:Hadoop需要Java环境支持,可以从官网上下载Java安装包,安装完成后配置JAVA_HOME环境变量。 2. 下载Hadoop:从官网上下载最新版的Hadoop,解压缩到指定目录,并配置HADOOP_HOME环境变量。 3. 配置Hadoop环境变量:将Hadoop的bin目录添加到PATH环境变量中。 4. 配置Hadoop集群:在Hadoop的conf目录下,编辑core-site.xml、hdfs-site.xml、mapred-site.xml和yarn-site.xml等配置文件,设置相关参数,如文件系统、数据存储位置、副本数、容错机制、任务调度等。 5. 启动Hadoop:在Linux系统上启动Hadoop集群,首先启动HDFS(分布式文件系统)和YARN(资源管理器和应用程序管理器),然后启动MapReduce(分布式计算框架)。 6. 验证Hadoop集群:使用Hadoop提供的命令行工具,如hdfs dfs、yarn、mapred等命令,验证Hadoop集群是否正常工作。 以上就是在Linux系统上搭建Hadoop的基本步骤。当然,具体的操作细节还需要根据实际情况进行调整和优化。要在Linux上搭建Hadoop集群,您需要按照以下步骤操作: 1.下载Hadoop软件包并解压缩它。建议下载最新版本的Hadoop软件包,并将其解压缩到一个目录中。 2.配置Hadoop集群。您需要编辑Hadoop配置文件以指定群集的参数,例如群集中每个节点的IP地址、数据存储路径等。 3.启动Hadoop集群。您可以使用Hadoop提供的脚本启动各个Hadoop服务。例如,可以使用start-dfs.sh脚本启动HDFS服务,使用start-yarn.sh脚本启动YARN服务。 4.验证Hadoop集群。您可以使用Hadoop提供的命令行工具验证Hadoop集群是否正常工作。例如,您可以使用hadoop fs -ls命令列出HDFS中的文件,使用yarn node -list命令列出集群中的节点。 5.编写和运行Hadoop作业。一旦您的Hadoop集群正常工作,就可以编写和运行Hadoop作业。Hadoop提供了一个Java API,您可以使用它来编写MapReduce作业和其他类型的Hadoop作业。 请注意,搭建Hadoop集群是一项复杂的任务,需要一定的Linux和网络技能。如果您是初学者,建议您先阅读一些Hadoop入门指南和教程,以便更好地了解Hadoop集群的搭建和使用。要在Linux上搭建Hadoop,您需要执行以下步骤: 1. 安装Java:Hadoop需要Java环境,因此需要先安装Java。 2. 下载和安装Hadoop:从Hadoop官网下载最新的Hadoop版本,并解压到一个目录中。 3. 配置Hadoop环境变量:将Hadoop的bin目录添加到系统环境变量中。 4. 配置Hadoop集群:编辑Hadoop的配置文件(例如core-site.xml,hdfs-site.xml和mapred-site.xml),指定Hadoop集群的各种参数,例如文件系统位置,数据节点和任务节点等。 5. 启动Hadoop:在终端中启动Hadoop,以启动Hadoop集群。 6. 运行Hadoop任务:使用Hadoop提供的命令行工具运行MapReduce任务或其他Hadoop任务。 请注意,在搭建Hadoop集群之前,您需要考虑网络配置和安全问题,以确保集群的安全和可靠性。 首先,你需要安装Java,然后下载Hadoop的安装包,并将其解压到你想要安装的文件夹中,然后根据Hadoop的安装文档进行配置,最后执行安装脚本。 要在Linux系统上搭建Hadoop,您可以按照以下步骤进行操作: 1. 首先,在Linux系统上安装Java开发工具包(JDK),并确保环境变量已正确设置。 2. 然后,下载Hadoop的二进制文件并解压缩到您选择的目录。 3. 接下来,根据您的需求编辑Hadoop的配置文件(例如core-site.xml、hdfs-site.xml等)。 4. 在完成配置后,启动Hadoop集群。您可以使用start-all.sh脚本来启动所有必需的守护进程。 5. 最后,测试您的Hadoop集群是否正常工作。您可以在Hadoop的web界面上查看集群状态,或者通过执行一些简单的Hadoop命令来测试它。 需要注意的是,Hadoop的安装和配置可能会涉及到一些复杂的操作,因此建议您仔细阅读Hadoop的文档并遵循最佳实践来确保成功搭建和配置Hadoop集群。搭建Hadoop需要先安装Linux系统,推荐使用CentOS或Ubuntu等流行的Linux发行版。 1. 安装Java环境 Hadoop是基于Java开发的,需要先安装Java环境。可以使用以下命令安装OpenJDK: ``` sudo apt-get install openjdk-8-jdk ``` 2. 下载Hadoop 在官网上下载Hadoop二进制文件,或者使用以下命令下载最新版本: ``` wget https://mirror-hk.koddos.net/apache/hadoop/common/hadoop-3.3.1/hadoop-3.3.1.tar.gz ``` 3. 解压Hadoop 将下载的Hadoop压缩包解压到指定目录,例如: ``` sudo tar -zxvf hadoop-3.3.1.tar.gz -C /usr/local/ ``` 4. 配置环境变量 在`/etc/profile`文件末尾添加以下内容,使Hadoop命令可以在任何位置运行: ``` export HADOOP_HOME=/usr/local/hadoop export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin ``` 5. 配置Hadoop 编辑Hadoop的配置文件,例如`/usr/local/hadoop/etc/hadoop/core-site.xml`,设置Hadoop的参数,例如: ``` <configuration> <property> <name>fs.defaultFS</name> <value>hdfs://localhost:9000</value> </property> </configuration> ``` 6. 启动Hadoop 运行以下命令启动Hadoop: ``` hadoop namenode -format start-all.sh ``` 现在Hadoop已经成功搭建完成了。可以通过Web界面访问Hadoop的各个组件,例如: - HDFS管理界面:http://localhost:50070/ - YARN管理界面:http://localhost:8088/要在Linux上搭建Hadoop,需要执行以下步骤: 1. 首先,您需要下载和安装适用于LinuxHadoop软件包。 2. 然后,您需要配置Hadoop集群的核心组件,包括HDFS(Hadoop分布式文件系统)和YARN(Yet Another Resource Negotiator)。 3. 您还需要编辑Hadoop的配置文件,以指定Hadoop集群的特定参数和设置。 4. 接下来,您需要启动Hadoop集群中的所有进程,包括NameNode、DataNode和ResourceManager。 5. 最后,您需要检查Hadoop集群是否正常工作,并运行示例MapReduce作业以验证Hadoop集群的正确性。 请注意,搭建Hadoop集群需要一定的系统管理和网络知识,因此建议在执行这些步骤之前先学习相关的知识或咨询有经验的专业人员。要在Linux上搭建Hadoop,您需要执行以下步骤: 1. 下载和安装Java:Hadoop是一个Java应用程序,因此必须先安装Java。您可以从Oracle或OpenJDK等网站下载Java并安装。 2. 下载和安装Hadoop:在Hadoop官网上下载最新版本的Hadoop,解压缩后将其放在您选择的目录下。然后,配置环境变量,以便能够在终端中访问Hadoop。 3. 配置Hadoop环境:编辑Hadoop配置文件,以便Hadoop能够与您的系统和网络适当地交互。这些配置文件在Hadoop安装目录的“etc/hadoop”文件夹中。 4. 启动Hadoop集群:在启动之前,您需要设置一个主节点和多个从节点。编辑Hadoop配置文件以设置主节点和从节点。然后,通过在终端中输入特定命令来启动Hadoop集群。 5. 测试Hadoop集群:一旦Hadoop集群成功启动,您可以使用Hadoop Shell或MapReduce程序在集群上运行作业。可以通过输入特定命令来检查作业是否正确运行。 希望这些步骤能帮助您在Linux上成功搭建Hadoop。要在Linux上搭建Hadoop,可以按照以下步骤进行: 1. 安装Java环境:Hadoop是基于Java开发的,所以需要安装Java环境。 2. 下载Hadoop:从Hadoop官网下载最新版本的Hadoop。 3. 解压Hadoop:将下载的Hadoop压缩包解压到指定的目录下。 4. 配置Hadoop环境变量:设置Hadoop的环境变量,包括JAVA_HOME、HADOOP_HOME等。 5. 配置Hadoop的core-site.xml:配置Hadoop的core-site.xml文件,包括Hadoop的文件系统、Hadoop运要在Linux上搭建Hadoop,您需要按照以下步骤进行操作: 1.安装Java环境 Hadoop运行需要Java环境,因此首先需要在Linux系统上安装Java。您可以选择在官方网站下载Java安装包并进行手动安装,或者使用Linux系统自带的包管理工具进行安装。 2.下载Hadoop安装包 从官方网站下载适合您Linux系统的Hadoop安装包,然后将其解压缩到指定目录下。 3.配置Hadoop环境变量 为了方便使用Hadoop命令,需要将Hadoop的bin目录添加到系统的PATH环境变量中。 4.配置Hadoop集群 根据您的需求,配置Hadoop的各个组件,如HDFS和YARN等,以及其它相关的配置参数。 5.启动Hadoop服务 使用Hadoop提供的脚本启动Hadoop服务,然后可以通过Web界面或者命令行工具来操作和管理Hadoop集群。 这些是在Linux系统上搭建Hadoop的基本步骤。如果您需要更详细的说明和操作指导,可以查阅Hadoop官方文档或者相关的技术文章。要在Linux上搭建Hadoop,可以按照以下步骤进行操作: 1.下载并安装Java:在Linux系统上安装Java Development Kit(JDK),Hadoop需要Java环境才能运行。 2.下载Hadoop:从Apache Hadoop官网下载Hadoop的稳定版本,并解压到指定的目录。 3.配置Hadoop环境变量:在Linux系统上配置Hadoop的环境变量,使得系统可以找到Hadoop的命令。 4.配置Hadoop集群:根据需要,可以配置一个Hadoop集群,包括主节点和从节点。需要在每个节点上安装并配置Hadoop环境。 5.配置Hadoop的XML文件:在Hadoop的配置文件中指定Hadoop集群的名称、节点信息、数据存储路径等。 6.启动Hadoop:使用命令行启动Hadoop,可以通过运行Hadoop的shell脚本来启动Hadoop集群。 以上是基本的Hadoop搭建流程,需要根据实际情况进行调整和扩展。同时,还需要了解Hadoop的基本概念和操作指令,才能更好地运行和管理Hadoop集群。Linux搭建Hadoop可以分为以下几个步骤: 1. 下载并安装Linux系统,例如CentOS、Ubuntu等。 2. 下载并安装Java JDK,并配置环境变量。 3. 下载Hadoop二进制包,并解压到指定目录,例如/opt/hadoop。 4. 修改Hadoop配置文件,包括hadoop-env.sh、core-site.xml、hdfs-site.xml、mapred-site.xml和yarn-site.xml等文件,以适应你的需求。 5. 配置Hadoop集群的网络设置和SSH免密登录。 6. 格式化HDFS文件系统,启动Hadoop集群的各个组件,包括NameNode、DataNode、ResourceManager和NodeManager等。 7. 部署Hadoop应用程序,例如MapReduce程序,通过Hadoop命令行工具运行应用程序。 总的来说,搭建Hadoop集群需要熟悉Linux系统和Hadoop的基本操作,需要耐心和实践。好的,以下是关于在Linux上安装和配置Hadoop的步骤: 1. 下载Hadoop:访问Hadoop的官方网站 https://hadoop.apache.org/releases.html 下载最新版本的Hadoop。 2. 安装Java:在Linux运行Hadoop需要Java环境,因此需要在Linux上安装Java。可以使用以下命令安装OpenJDK: ``` sudo apt-get update sudo apt-get install openjdk-8-jdk ``` 3. 解压Hadoop:将Hadoop压缩包解压到Linux上的某个目录中。例如: ``` sudo tar -xvf hadoop-3.3.0.tar.gz -C /usr/local/ ``` 4. 设置环境变量:编辑/etc/profile文件,添加以下内容: ``` export HADOOP_HOME=/usr/local/hadoop-3.3.0 export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin ``` 5. 配置Hadoop:进入Hadoop的安装目录,并编辑/etc/hadoop/hadoop-env.sh文件,将以下内容添加到文件末尾: ``` export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64 ``` 6. 配置Hadoop集群:编辑/etc/hadoop/core-site.xml文件,将以下内容添加到文件末尾: ``` <configuration> <property> <name>fs.default.name</name> <value>hdfs://localhost:9000</value> </property> </configuration> ``` 7. 配置Hadoop数据节点:编辑/etc/hadoop/hdfs-site.xml文件,将以下内容添加到文件末尾: ``` <configuration> <property> <name>dfs.replication</name> <value>1</value> </property> <property> <name>dfs.namenode.name.dir</name> <value>file:/usr/local/hadoop-3.3.0/hadoop_data/hdfs/namenode</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>file:/usr/local/hadoop-3.3.0/hadoop_data/hdfs/datanode</value> </property> </configuration> ``` 8. 启动Hadoop运行以下命令启动Hadoop: ``` start-all.sh ``` 现在,你已经在Linux上成功地安装和配置了Hadoop

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 23
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值