hadoop集群安装

最新推荐文章于 2024-05-19 19:48:58 发布
最新推荐文章于 2024-05-19 19:48:58 发布
阅读量93 收藏
点赞数
分类专栏： Hadoop 文章标签： hadoop linux 服务器 Powered by 金山文档
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/YPeiQi/article/details/129581780
版权

图片失效请查看这里：https://note.youdao.com/s/cse7JvLA

一、前期准备

1、安装VM虚拟机

傻瓜式安装.....

2、安装centos操作系统

采用的centos7系统

3、配置ip地址和主机名称

1、配置VM的IP

2、配置Windows的ip

首先依次点击 控制面板-> 网络和Internet -> 网络连接 。在网络连接中找到VMnet8，右键属性，双击版本4。

在弹出的窗口中，按照以下修改。

3、配置centos的ip

  1. 1.

在root用户下输入

--javascripttypescriptbashsqljsonhtmlcssccppjavarubypythongorustmarkdown

[root@localhost ~]# vim /etc/sysconfig/network-scripts/ifcfg-ens33
#进行如下修改
TYPE="Ethernet"
#改成静态ip
BOOTPROTO="static"
DEFROUTE="yes"
PEERDNS="yes"
PEERROUTES="yes"
IPV4_FAILURE_FATAL="no"
IPV6INIT="yes"
IPV6_AUTOCONF="yes"
IPV6_DEFROUTE="yes"
IPV6_PEERDNS="yes"
IPV6_PEERROUTES="yes"
IPV6_FAILURE_FATAL="no"
IPV6_ADDR_GEN_MODE="stable-privacy"
NAME="ens33"
DEVICE="ens33"
ONBOOT="yes"
#删除UUID，并添加以下参数。
IPADDR=192.168.2.100
GATEWAY=192.168.2.2
DNS1=192.168.2.2

  1. 2.

修改主机名称

--javascripttypescriptbashsqljsonhtmlcssccppjavarubypythongorustmarkdown

[root@localhost ~]# vim /etc/hostname
#修改成指定的名称
hadoop100

  1. 3.

配置主机映射

--javascripttypescriptbashsqljsonhtmlcssccppjavarubypythongorustmarkdown

[root@localhost ~]# vim /etc/hosts
#添加如下内容
192.168.2.1 master
192.168.2.100 hadoop100
192.168.2.101 hadoop101
192.168.2.102 hadoop102
192.168.2.103 hadoop103
192.168.2.104 hadoop104
192.168.2.105 hadoop105
192.168.2.106 hadoop106

  1. 4.

重启系统，并用在本机进行远程连接

  1. 5.

在widows主机中进行映射

依次点击 C盘->Windows->System32->drivers->etc，找到host 文件，在里面添加如下内容

--javascripttypescriptbashsqljsonhtmlcssccppjavarubypythongorustmarkdown

192.168.25.100 hadoop100
192.168.25.101 hadoop101
192.168.25.102 hadoop102
192.168.25.103 hadoop103
192.168.25.104 hadoop104
192.168.25.105 hadoop105
192.168.25.106 hadoop106
192.168.25.107 hadoop107
192.168.25.108 hadoop108

4、准备模板虚拟机

  1. 1.

确保虚拟机可以正常上网。

--javascripttypescriptbashsqljsonhtmlcssccppjavarubypythongorustmarkdown

[root@hadoop100 ~]# ping www.baidu.com
PING www.baidu.com (14.215.177.39) 56(84) bytes of data.
64 bytes from 14.215.177.39 (14.215.177.39): icmp_seq=1 
ttl=128 time=8.60 ms
64 bytes from 14.215.177.39 (14.215.177.39): icmp_seq=2 
ttl=128 time=7.72 ms

  1. 2.

ping安装epel-release

注：Extra Packages for Enterprise Linux 是为“红帽系”的操作系统提供额外的软件包，

适用于 RHEL、CentOS 和 Scientific Linux。相当于是一个软件仓库，大多数 rpm 包在官方 repository 中是找不到的）

--javascripttypescriptbashsqljsonhtmlcssccppjavarubypythongorustmarkdown

[root@hadoop100 ~]# yum install -y epel-release
注意：如果 Linux 安装的是最小系统版，还需要安装如下工具；如果安装的是 Linux 桌面标准版，不需要执行如下操作

--javascripttypescriptbashsqljsonhtmlcssccppjavarubypythongorustmarkdown

# net-tool：工具包集合，包含 ifconfig 等命令
[root@hadoop100 ~]# yum install -y net-tools 
# vim：编辑器
[root@hadoop100 ~]# yum install -y vim

  1. 1.

关闭防火墙

--javascripttypescriptbashsqljsonhtmlcssccppjavarubypythongorustmarkdown

[root@hadoop100 ~]# systemctl stop firewalld
[root@hadoop100 ~]# systemctl disable firewalld.service
注意：在企业开发时，通常单个服务器的防火墙时关闭的。公司整体对外会设置非常安全的防火墙

  1. 1.

创建一个用来搭建集群的用户，并使其拥有root权限

--javascripttypescriptbashsqljsonhtmlcssccppjavarubypythongorustmarkdown

[root@hadoop100 ~]# useradd yzh
[root@hadoop100 ~]# passwd root
[root@hadoop100 ~]# vim /etc/sudoers

#修改/etc/sudoers 文件，在%wheel 这行下面添加一行，如下所示：
## Allow root to run any commands anywhere
root ALL=(ALL) ALL
## Allows people in group wheel to run all commands
%wheel ALL=(ALL) ALL
yzh ALL=(ALL) NOPASSWD:ALL
注意：yzh 这一行不要直接放到 root 行下面，因为所有用户都属于 wheel 组，你先配置了 yzh具有免密功能，但是程序执行到%wheel 行时，该功能又被覆盖回需要密码。所以 yzh要放到%wheel 这行下面。

  1. 1.

在/opt 目录下创建文件夹，并修改所属主和所属组

--javascripttypescriptbashsqljsonhtmlcssccppjavarubypythongorustmarkdown

#（1）在/opt 目录下创建 module、software 文件夹
[root@hadoop100 ~]# mkdir /opt/module
[root@hadoop100 ~]# mkdir /opt/software
#（2）修改 module、software 文件夹的所有者和所属组均为 yzh 用户
[root@hadoop100 ~]# chown yzh:yzh /opt/module 
[root@hadoop100 ~]# chown yzh:yzh /opt/software
#（3）查看 module、software 文件夹的所有者和所属组
[root@hadoop100 ~]# cd /opt/
[root@hadoop100 opt]# ll
total 0
drwxr-xr-x. 2 yzh  yzh  6 Feb  9 10:40 module
drwxr-xr-x. 2 root root 6 Mar 26  2015 rh
drwxr-xr-x. 2 yzh  yzh  6 Feb  9 10:41 software

  1. 2.

卸载系统自带的JDK

注意：如果你的虚拟机是最小化安装不需要执行这一步。

--javascripttypescriptbashsqljsonhtmlcssccppjavarubypythongorustmarkdown

[root@hadoop100 ~]# rpm -qa | grep -i java | xargs -n1 rpm -e --nodeps

➢ rpm -qa：查询所安装的所有 rpm 软件包 ➢ grep -i：忽略大小写 ➢ xargs -n1：表示每次只传递一个参数 ➢ rpm -e –nodeps：强制卸载软件

  1. 1.

重启系统

--javascripttypescriptbashsqljsonhtmlcssccppjavarubypythongorustmarkdown

[root@hadoop100 ~]# reboot

5、克隆虚拟机

  1. 1.

利用模板机 hadoop100，克隆三台虚拟机：hadoop102 hadoop103 hadoop104 注意：克隆时，要先关闭 hadoop100

  1. 2.

修改克隆机 IP，以下以 hadoop102 举例说明

--javascripttypescriptbashsqljsonhtmlcssccppjavarubypythongorustmarkdown

[root@hadoop100 ~]# vim /etc/sysconfig/network-scripts/ifcfg-ens33
     #改成
    TYPE="Ethernet"
    BOOTPROTO="static"
    DEFROUTE="yes"
    PEERDNS="yes"
    PEERROUTES="yes"
    IPV4\_FAILURE\_FATAL="no"
    IPV6INIT="yes"
    IPV6\_AUTOCONF="yes"
    IPV6\_DEFROUTE="yes"
    IPV6\_PEERDNS="yes"
    IPV6\_PEERROUTES="yes"
    IPV6\_FAILURE\_FATAL="no"
    IPV6\_ADDR\_GEN\_MODE="stable-privacy"
    NAME="ens33"
    DEVICE="ens33"
    ONBOOT="yes"

    IPADDR=192.168.25.102
    GATEWAY=192.168.25.2
    DNS1=192.168.25.2

  1. 3.

修改主机名称，添加映射

--javascripttypescriptbashsqljsonhtmlcssccppjavarubypythongorustmarkdown

#修改主机名称
[root@hadoop100 ~]# vim /etc/hostname
hadoop102

#在虚拟机中增加映射
[root@hadoop100 ~]# vim /etc/hosts

192.168.10.100 hadoop100
192.168.10.101 hadoop101
192.168.10.102 hadoop102
192.168.10.103 hadoop103
192.168.10.104 hadoop104
192.168.10.105 hadoop105
192.168.10.106 hadoop106
192.168.10.107 hadoop107
192.168.10.108 hadoop108

#重启虚拟机
[root@hadoop100 ~]# reboot

  1. 4.

修改windows下的映射

进入 C:\Windows\System32\drivers\etc 路径，打开 hosts 文件并添加如下内容，然后保存

--javascripttypescriptbashsqljsonhtmlcssccppjavarubypythongorustmarkdown

192.168.10.100 hadoop100
192.168.10.101 hadoop101
192.168.10.102 hadoop102
192.168.10.103 hadoop103
192.168.10.104 hadoop104
192.168.10.105 hadoop105
192.168.10.106 hadoop106
192.168.10.107 hadoop107
192.168.10.108 hadoop108

4、在hadoop102中安装JDK

  1. 1.

先将原有JDK卸载

--javascripttypescriptbashsqljsonhtmlcssccppjavarubypythongorustmarkdown

[root@hadoop100 ~]# rpm -qa | grep -i java | xargs -n1 rpm -e --nodeps

  1. 2.

将JDK拷贝到opt目录下的software文件夹下面，解压

--javascripttypescriptbashsqljsonhtmlcssccppjavarubypythongorustmarkdown

[yzht@hadoop102 software]$ ls /opt/software/
hadoop-3.2.2.tar.gz  jdk-8u121-linux-x64.tar.gz

#将JDK解压到/opt/module目录下
[yzh@hadoop102 software]$ tar -zxvf jdk-8u121-linux-x64.tar.gz -C /opt/module/

  1. 3.

配置JDK环境变量

--javascripttypescriptbashsqljsonhtmlcssccppjavarubypythongorustmarkdown

#1、新建/etc/profile.d/my_env.sh 文件
[yzh@hadoop102 ~]$ sudo vim /etc/profile.d/my_env.sh
#添加以下内容
#JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_121
export PATH=$PATH:$JAVA_HOME/bin

#2、刷新环境变量
[yzh@hadoop102 ~]$ source /etc/profile

  1. 4.

测试JDK是否安装成功

--javascripttypescriptbashsqljsonhtmlcssccppjavarubypythongorustmarkdown

[yzh@hadoop102 software]$ java -version
java version "1.8.0_121"
Java(TM) SE Runtime Environment (build 1.8.0_121-b13)
Java HotSpot(TM) 64-Bit Server VM (build 25.121-b13, mixed mode)

5、在hadoop102安装Hadoop

  1. 1.

将Hadoop安装到拷贝到opt目录下的software文件夹下 ，并解压

--javascripttypescriptbashsqljsonhtmlcssccppjavarubypythongorustmarkdown

[yzh@hadoop102 software]$ ls
hadoop-3.2.2.tar.gz  jdk-8u121-linux-x64.tar.gz
#解压到 /opt/module路径下
[yzh@hadoop102 software]$ tar -zxvf hadoop-3.2.2.tar.gz  -C /opt/module/

  1. 2.

将Hadoop添加到环境变量

--javascripttypescriptbashsqljsonhtmlcssccppjavarubypythongorustmarkdown

#1、获取Hadoop安装路径
[yzh@hadoop102 hadoop-3.2.2]$ pwd
/opt/module/hadoop-3.2.2

#2、打开/etc/profile.d/my_env.sh 文件
[yzh@hadoop102 hadoop-3.2.2]$ sudo vim /etc/profile.d/my_env.sh

#3、在my_env.sh文件末尾添加如下内容
#HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-3.2.2
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

#4、刷新环境变量
[yzh@hadoop102 hadoop-3.2.2]$ source /etc/profile

  1. 3.

测试是否安装成功

--javascripttypescriptbashsqljsonhtmlcssccppjavarubypythongorustmarkdown

[yzh@hadoop102 hadoop-3.2.2]$ hadoop version
Hadoop 3.2.2
Source code repository Unknown -r 7a3bc90b05f257c8ace2f76d74264906f0f7a932
Compiled by hexiaoqiao on 2021-01-03T09:26Z
Compiled with protoc 2.5.0
From source with checksum 5a8f564f46624254b27f6a33126ff4
This command was run using /opt/module/hadoop-3.2.2/share/hadoop/common/hadoop-common-3.2.2.jar

二、Hadoop运行模式

1、本地运行模式（官方 WordCount）

1）创建在 hadoop-3.1.3 文件下面创建一个 wcinput 文件夹

--javascripttypescriptbashsqljsonhtmlcssccppjavarubypythongorustmarkdown

[yzh@hadoop102 hadoop-3.2.2]$ mkdir wcinput

2）在 wcinput 文件下创建一个 word.txt 文件

--javascripttypescriptbashsqljsonhtmlcssccppjavarubypythongorustmarkdown

[yzh@hadoop102 hadoop-3.2.2]$ cd wcinput

3）编辑 word.txt 文件

--javascripttypescriptbashsqljsonhtmlcssccppjavarubypythongorustmarkdown

[yzh@hadoop102 wcinput]$ vim word.txt
在文件中输入如下内容

--javascripttypescriptbashsqljsonhtmlcssccppjavarubypythongorustmarkdown

hadoop yarn
hadoop mapreduce
hello world
hello world

4）回到 Hadoop 目录/opt/module/hadoop-3.2.2 5）执行程序

--javascripttypescriptbashsqljsonhtmlcssccppjavarubypythongorustmarkdown

[yzh@hadoop102 hadoop-3.2.2]$ hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.2.2.jar wordcount wcinput wcoutput

6）查看结果

--javascripttypescriptbashsqljsonhtmlcssccppjavarubypythongorustmarkdown

[yzh@hadoop102 hadoop-3.2.2]$ cat wcoutput/part-r-00000

看到如下结果：

--javascripttypescriptbashsqljsonhtmlcssccppjavarubypythongorustmarkdown

hadoop    2
hello    2
mapreduce    1
world    2
yarn    1

2、完全分布式运行模式（开发重点）

分析： 1）准备 3 台客户机（关闭防火墙、静态 IP、主机名称） 2）安装 JDK 3）配置环境变量 4）安装 Hadoop 5）配置环境变量 6）配置集群 7）单点启动 8）配置 ssh 9）群起并测试集群

1、编写集群分发脚本xsync

  1. 1.

scp（secure copy）安全拷贝

（1）scp 定义 scp 可以实现服务器与服务器之间的数据拷贝。（from server1 to server2）

（2）基本语法

--javascripttypescriptbashsqljsonhtmlcssccppjavarubypythongorustmarkdown

scp   -r    $pdir/$fname           $user@$host:$pdir/$fname
命令  递归  要拷贝的文件路径/名称  目的地用户@主机:目的地路径/名称

（3）案例实操

前提：在 hadoop102、hadoop103、hadoop104 都已经创建好的/opt/module、 /opt/software 两个目录，并且已经把这两个目录修改为 yzh:yzh

--javascripttypescriptbashsqljsonhtmlcssccppjavarubypythongorustmarkdown

[yzh@hadoop102 ~]$ sudo chown yzh:yzh -R /opt/module

（a）在 hadoop102 上，将 hadoop102 中/opt/module/jdk1.8.0_121 目录拷贝到hadoop103 上。

--javascripttypescriptbashsqljsonhtmlcssccppjavarubypythongorustmarkdown

[yzh@hadoop102 ~]$ scp -r /opt/module/jdk1.8.0_121 yzh@hadoop103:/opt/module

（b）在 hadoop103 上，将 hadoop102 中/opt/module/hadoop-3.2.2 目录拷贝到hadoop103 上。

--javascripttypescriptbashsqljsonhtmlcssccppjavarubypythongorustmarkdown

[yzh@hadoop103 ~]$ scp -r yzh@hadoop102:/opt/module/hadoop-3.2.2 /opt/module/

（c）在 hadoop103 上操作，将 hadoop102 中/opt/module 目录下所有目录拷贝到hadoop104 上。

--javascripttypescriptbashsqljsonhtmlcssccppjavarubypythongorustmarkdown

[yzh@hadoop103 opt]$ scp -r yzh@hadoop102:/opt/module/* yzh@hadoop104:/opt/module

  1. 1.

rsync 远程同步工具 rsync 主要用于备份和镜像。具有速度快、避免复制相同内容和支持符号链接的优点。 rsync 和 scp 区别：用 rsync 做文件的复制要比 scp 的速度快，rsync 只对差异文件做更新。scp 是把所有文件都复制过去。

（1）基本语法

--javascripttypescriptbashsqljsonhtmlcssccppjavarubypythongorustmarkdown

rsync -av      $pdir/$fname          $user@$host:$pdir/$fname
命令  选项参数 要拷贝的文件路径/名称 目的地用户@主机:目的地路径/名称



 选项参数说明

选项

功能

-a

归档拷贝

-v

显示复制过程

（2）案例实操

（a）删除 hadoop103 中/opt/module/hadoop-3.2.2/wcinput

--javascripttypescriptbashsqljsonhtmlcssccppjavarubypythongorustmarkdown

[yzh@hadoop103 hadoop-3.2.2]$ rm -rf wcinput/

（b）同步 hadoop102 中的/opt/module/hadoop-3.2.2到 hadoop103

--javascripttypescriptbashsqljsonhtmlcssccppjavarubypythongorustmarkdown

[yzh@hadoop102 module]$ rsync -av hadoop-3.2.2/ atguigu@hadoop103:/opt/module/hadoop-3.2.2/

  1. 1.

xsync 集群分发脚本

（1）需求：循环复制文件到所有节点的相同目录下

（2）需求分析： （a）rsync 命令原始拷贝：

rsync -av /opt/module yzh@hadoop103:/opt/

（b）期望脚本： xsync 要同步的文件名称 （c）期望脚本在任何路径都能使用（脚本放在声明了全局环境变量的路径）

--javascripttypescriptbashsqljsonhtmlcssccppjavarubypythongorustmarkdown

[yzh@hadoop102 ~]$ echo $PATH
/usr/local/bin:/usr/bin:/usr/local/sbin:/usr/sbin:/home/yzh/.local/bin:/home/yzh/bin:/opt/module/jdk1.8.0_121/bin

（3）脚本实现 （a）在/home/yzh/bin 目录下创建 xsync 文件

--javascripttypescriptbashsqljsonhtmlcssccppjavarubypythongorustmarkdown

[yzh@hadoop102 opt]$ cd /home/yzh
[yzh@hadoop102 ~]$ mkdir bin
[yzh@hadoop102 ~]$ cd bin
[yzh@hadoop102 bin]$ vim xsync

在该文件中编写如下代码

--javascripttypescriptbashsqljsonhtmlcssccppjavarubypythongorustmarkdown

#!/bin/bash
#1. 判断参数个数
if [ $# -lt 1 ]
then
 echo Not Enough Arguement!
 exit;
fi
#2. 遍历集群所有机器
for host in hadoop102 hadoop103 hadoop104
do
 echo ==================== $host ====================
 #3. 遍历所有目录，挨个发送
 for file in $@
 do
  #4. 判断文件是否存在
  if [ -e $file ]
   then
    #5. 获取父目录
    pdir=$(cd -P $(dirname $file); pwd)
    #6. 获取当前文件的名称
    fname=$(basename $file)
    ssh $host "mkdir -p $pdir"
    rsync -av $pdir/$fname $host:$pdir
  else
    echo $file does not exists!
  fi
 done
done

（b）修改脚本 xsync 具有执行权限

--javascripttypescriptbashsqljsonhtmlcssccppjavarubypythongorustmarkdown

[yzh@hadoop102 bin]$ chmod +x xsync

（c）测试脚本

--javascripttypescriptbashsqljsonhtmlcssccppjavarubypythongorustmarkdown

[yzh@hadoop102 ~]$ ./xsync /home/yzh/bin

（d）将脚本复制到/bin 中，以便全局调用

--javascripttypescriptbashsqljsonhtmlcssccppjavarubypythongorustmarkdown

[yzh@hadoop102 bin]$ sudo cp xsync /bin/

（e）同步环境变量配置（root 所有者）

--javascripttypescriptbashsqljsonhtmlcssccppjavarubypythongorustmarkdown

[yzh@hadoop102 ~]$ sudo ./bin/xsync /etc/profile.d/my_env.sh
注意：如果用了 sudo，那么 xsync 一定要给它的路径补全。 让环境变量生效

--javascripttypescriptbashsqljsonhtmlcssccppjavarubypythongorustmarkdown

[yzh@hadoop103 bin]$ source /etc/profile
[yzh@hadoop104 opt]$ source /etc/profile

2、SSH免密登录配置

  1. 1.

免密原理

  1. 2.

生成公钥和私钥

--javascripttypescriptbashsqljsonhtmlcssccppjavarubypythongorustmarkdown

[yzh@hadoop102 bin]$ cd /home/yzh/.ssh
[yzh@hadoop102 .ssh]$ pwd
/home/yzh/.ssh
[yzh@hadoop102 .ssh]$ ssh-keygen -t rsa

  1. 3.

将公钥拷贝到要免密登录的目标机器上

--javascripttypescriptbashsqljsonhtmlcssccppjavarubypythongorustmarkdown

[yzh@hadoop102 .ssh]$ ssh-copy-id hadoop102
[yzh@hadoop102 .ssh]$ ssh-copy-id hadoop103
[yzh@hadoop102 .ssh]$ ssh-copy-id hadoop104

  1. 4.

.ssh文件夹下(~/.ssh)的文件功能解释

known_hosts

记录 ssh 访问过计算机的公钥（public key）

id_rsa

生成的私钥

id_rsa.pub

生成的公钥

authorized_keys

存放授权过的无密登录服务器公钥

3、集群配置

  1. 1.

集群部署规划

注意：
1、NameNode和SecondaryNode不要安装在同一台服务器上
ResourceManager也很消耗内存，不要和NameNode、SencodaryNameNode配置在同一台机器上

  1. 2.

配置文件说明

Hadoop配置文件分为两类：默认配置文件和自定义配置文件，只有用户想修改某一默认配置值时，才需要修改自定义配置文件，更改相应的属性值。

  1. 1.

默认配置文件

要获取的默认文件

文件存放在Hadoop的jar包中的位置

[core-default.xml]

hadoop-common-3.2.2.jar/core-default.xml

[hdfs-default.xml]

hadoop-hdfs-3.2.2.jar/hdfs-default.xml

[yarn-default.xml]

hadoop-yarn-common-3.2.2.jar/yarn-default.xml

[mapred-default.xml]

hadoop-mapreduce-client-core-3.2.2.jar/mapred-default.xml

  1. 2.

自定义配置文件

core-site.xml、hdfs-site.xml、yarn-site.xml、mapred-site.xml 四个配置文件存放在 $HADOOP_HOME/etc/hadoop 这个路径上，用户可以根据项目需求重新进行修改配置。

  1. 3.

配置集群

  1. 1.

核心配置文件

配置 core-site.xml

--javascripttypescriptbashsqljsonhtmlcssccppjavarubypythongorustmarkdown

[yzh@hadoop102 ~]$ cd $HADOOP_HOME/etc/hadoop
[yzh@hadoop102 hadoop]$ vim core-site.xml

内容如下：

--javascripttypescriptbashsqljsonhtmlcssccppjavarubypythongorustmarkdown

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<!-- 指定 NameNode 的地址 -->
<property>
  <name>fs.defaultFS</name>
  <value>hdfs://hadoop102:8020</value>
</property>

<!-- 指定 hadoop 数据的存储目录 -->
<property>
  <name>hadoop.tmp.dir</name>
  <value>/opt/module/hadoop-3.2.2/data</value>
</property>

<!-- 配置 HDFS 网页登录使用的静态用户为 root -->
<property>
  <name>hadoop.http.staticuser.user</name>
  <value>root</value>
</property>
</configuration>

  1. 2.

HDFS配置文件

配置hdfs-site.xml

--javascripttypescriptbashsqljsonhtmlcssccppjavarubypythongorustmarkdown

[yzh@hadoop102 hadoop]$ vim hdfs-site.xml

文件内容如下：

--javascripttypescriptbashsqljsonhtmlcssccppjavarubypythongorustmarkdown

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<!-- nn web 端访问地址-->
<property>
  <name>dfs.namenode.http-address</name>
  <value>hadoop102:9870</value>
</property>

<!-- 2nn web 端访问地址-->
<property>
  <name>dfs.namenode.secondary.http-address</name>
  <value>hadoop104:9868</value>
</property>
</configuration>

  1. 3.

YARN配置文件

配置yarn-site.xml

--javascripttypescriptbashsqljsonhtmlcssccppjavarubypythongorustmarkdown

[yzh@hadoop102 hadoop]$ vim yarn-site.xml

文件内容如下：

--javascripttypescriptbashsqljsonhtmlcssccppjavarubypythongorustmarkdown

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<!-- 指定 MR 走 shuffle -->
<property>
  <name>yarn.nodemanager.aux-services</name>
  <value>mapreduce_shuffle</value>
</property>

<!-- 指定 ResourceManager 的地址-->
<property>
  <name>yarn.resourcemanager.hostname</name>
  <value>hadoop103</value>
</property>

<!-- 环境变量的继承 -->
<property>
  <name>yarn.nodemanager.env-whitelist</name>
  <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
</property>
</configuration>

  1. 4.

MapReduce配置文件

配置mared-site.xml

--javascripttypescriptbashsqljsonhtmlcssccppjavarubypythongorustmarkdown

[yzh@hadoop102 hadoop]$ vim mapred-site.xml

文件内容如下：

--javascripttypescriptbashsqljsonhtmlcssccppjavarubypythongorustmarkdown

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<!-- 指定 MapReduce 程序运行在 Yarn 上 -->
<property>
  <name>mapreduce.framework.name</name>
  <value>yarn</value>
</property>
</configuration>

  1. 4.

在集群上分发配置好的Hadoop配置文件

--javascripttypescriptbashsqljsonhtmlcssccppjavarubypythongorustmarkdown

[yzh@hadoop102 hadoop]$ xsync /opt/module/hadoop-3.2.2/etc/hadoop/

  1. 5.

去103和104上查看文件分发情况

--javascripttypescriptbashsqljsonhtmlcssccppjavarubypythongorustmarkdown

[yzh@hadoop103 ~]$ cat /opt/module/hadoop-3.2.2/etc/hadoop/core-site.xml
[yzh@hadoop104 ~]$ cat /opt/module/hadoop-3.2.2/etc/hadoop/core-site.xml

4、群起集群

  1. 1.

配置works

--javascripttypescriptbashsqljsonhtmlcssccppjavarubypythongorustmarkdown

[yzh@hadoop102 hadoop]$ vim /opt/module/hadoop-3.2.2/etc/hadoop/workers

在该文件中增加如下内容：

--javascripttypescriptbashsqljsonhtmlcssccppjavarubypythongorustmarkdown

hadoop102
hadoop103
hadoop104
注意：该文件中添加的内容结尾不允许有空格，文件中也不允许有空格

同步所有节点的配置文件

--javascripttypescriptbashsqljsonhtmlcssccppjavarubypythongorustmarkdown

[yzh@hadoop102 hadoop]$ xsync /opt/module/hadoop-3.2.2/etc

  1. 2.

启动集群

  1. 1.

如果是第一次启动，需要在hadoop102节点格式化NameNode

注意：格式化NameNode，会产生新的集群id，导致NameNode和DataNode的集群id不一致，集群找不到以往数据。如果集群在运行过程中报错，需要重新格式化NameNode的话，一定要先停止namenode和datanode进程，并且要删除所有机器的data和logs目录，然后再进行格式化

--javascripttypescriptbashsqljsonhtmlcssccppjavarubypythongorustmarkdown

[yzh@hadoop102 hadoop-3.2.2]$ hdfs namenode -format

  1. 2.

启动HDFS

--javascripttypescriptbashsqljsonhtmlcssccppjavarubypythongorustmarkdown

[yzh@hadoop102 hadoop-3.2.2]$ sbin/start-dfs.sh

  1. 3.

在配置了ResourceManager的节点（hadoop103）启动YARN

--javascripttypescriptbashsqljsonhtmlcssccppjavarubypythongorustmarkdown

[yzh@hadoop103 hadoop-3.2.2]$ sbin/start-yarn.sh

  1. 4.

在Web端查看HDFS的NameNode

  1. 1.

在浏览器中输入：http://hadoop102:9870

  1. 2.

查看HDFS上存储的数据信息

  1. 5.

Web端查看YARN的ResourceManager

  1. 1.

浏览器中输入：http://hadoop103:8088

  1. 2.

查看YARN上运行的Job信息

  1. 3.

集群基本测试

  1. 1.

上传文件到集群

  1. 1.

上传小文件

--javascripttypescriptbashsqljsonhtmlcssccppjavarubypythongorustmarkdown

[yzh@hadoop102 ~] hadoop fs -put $HADOOP_HOME/wcinput/word.txt /input

  1. 2.

上传大文件

--javascripttypescriptbashsqljsonhtmlcssccppjavarubypythongorustmarkdown

[yzh@hadoop102 ~]$ hadoop fs -put /opt/software/jdk-8u121-linux-x64.tar.gz /

  1. 2.

上传后查看文件存放的位置

  1. 1.

查看HDFS文件存储路径

--javascripttypescriptbashsqljsonhtmlcssccppjavarubypythongorustmarkdown

[yzh@hadoop102 subdir0]$ pwd
/opt/module/hadoop-3.2.2/data/dfs/data/current/BP-1788195609-192.168.25.102-1644455332019/current/finalized/subdir0/subdir0

  1. 2.

查看HDFS在磁盘存储文件内容

--javascripttypescriptbashsqljsonhtmlcssccppjavarubypythongorustmarkdown

[yzh@hadoop102 subdir0]$ cat blk_1073741825
hadoop yarn
hadoop mapreduce
hello world
hello world

  1. 3.

拼接

--javascripttypescriptbashsqljsonhtmlcssccppjavarubypythongorustmarkdown

[yzh@hadoop102 subdir0]$ cat blk_1073741836>>tmp.tar.gz
[yzh@hadoop102 subdir0]$ cat blk_1073741837>>tmp.tar.gz
[yzh@hadoop102 subdir0]$ tar -zxvf tmp.tar.gz

  1. 4.

下载

--javascripttypescriptbashsqljsonhtmlcssccppjavarubypythongorustmarkdown

[yzh@hadoop104 software]$ hadoop fs -get /jdk-8u121-linux-x64.tar.gz ./

  1. 5.

执行wordcount程序

--javascripttypescriptbashsqljsonhtmlcssccppjavarubypythongorustmarkdown

[yzh@hadoop102 hadoop-3.2.2]$ hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.2.2.jar wordcount /input /output

5、配置历史服务器

为了查看程序的历史运行情况，需要配置一下历史服务器。具体步骤 如下

  1. 1.

配置mapred-site.xml

--javascripttypescriptbashsqljsonhtmlcssccppjavarubypythongorustmarkdown

[yzh@hadoop102 hadoop]$ vim mapred-site.xml

在该文件里面增加如下配置：

--javascripttypescriptbashsqljsonhtmlcssccppjavarubypythongorustmarkdown

 <!-- 历史服务器端地址 -->
 <property>
   <name>mapreduce.jobhistory.address</name>
   <value>hadoop102:10020</value>
 </property>
 <!-- 历史服务器 web 端地址 -->
 <property>
   <name>mapreduce.jobhistory.webapp.address</name>
   <value>hadoop102:19888</value>
 </property>

  1. 2.

分发配置

--javascripttypescriptbashsqljsonhtmlcssccppjavarubypythongorustmarkdown

[yzh@hadoop102 hadoop]$ xsync $HADOOP_HOME/etc/hadoop/mapred-site.xml

  1. 3.

在hadoop102启动历史服务器

--javascripttypescriptbashsqljsonhtmlcssccppjavarubypythongorustmarkdown

[yzh@hadoop102 hadoop]$ mapred --daemon start historyserver

  1. 4.

查看历史服务器是否启动

--javascripttypescriptbashsqljsonhtmlcssccppjavarubypythongorustmarkdown

[yzh@hadoop102 hadoop]$ jps

  1. 5.

查看JobHistory

http://hadoop102:19888/jobhistory

6、配置日志的聚集

日志聚集概念：应用运行完成以后，将程序运行日志信息上传到HDFS系统上。

日志聚集功能的好处：可以方便的查看到程序运行的详情，方便开发调试。

注意：开启日志聚集功能，需要重新启动 NodeManager、ResourceManager 和 HistoryServer

开启日志聚集功能具体步骤如下

  1. 1.

配置之yarn-site.xml

--javascripttypescriptbashsqljsonhtmlcssccppjavarubypythongorustmarkdown

[yzh@hadoop102 hadoop]$ vim yarn-site.xml

在该文件里面增加如下配置

--javascripttypescriptbashsqljsonhtmlcssccppjavarubypythongorustmarkdown

 <!-- 开启日志聚集功能 -->
 <property>
   <name>yarn.log-aggregation-enable</name>
   <value>true</value>
 </property>
 <!-- 设置日志聚集服务器地址 -->
 <property> 
   <name>yarn.log.server.url</name> 
   <value>http://hadoop102:19888/jobhistory/logs</value>
 </property>
 <!-- 设置日志保留时间为 7 天 -->
 <property>
   <name>yarn.log-aggregation.retain-seconds</name>
   <value>604800</value>
 </property>

  1. 2.

分发配置

--javascripttypescriptbashsqljsonhtmlcssccppjavarubypythongorustmarkdown

[yzh@hadoop102 hadoop]$ xsync $HADOOP_HOME/etc/hadoop/yarn-site.xml

  1. 3.

关闭NodeManager 、 ResourceManager 和 HostoryServer

--javascripttypescriptbashsqljsonhtmlcssccppjavarubypythongorustmarkdown

[yzh@hadoop103 hadoop-3.2.2]$ sbin/stop-yarn.sh
[yzh@hadoop103 hadoop-3.2.2]$ mapred --daemon stop historyserver

  1. 4.

启动NodeManager 、 ResourceManager 和 HostoryServer

--javascripttypescriptbashsqljsonhtmlcssccppjavarubypythongorustmarkdown

[yzh@hadoop103 ~]$ start-yarn.sh
[yzh@hadoop102 ~]$ mapred --daemon start historyserver

  1. 5.

删除HDFS上已经存在的输出文件

--javascripttypescriptbashsqljsonhtmlcssccppjavarubypythongorustmarkdown

[yzh@hadoop102 ~]$ hadoop fs -rm -r /output

  1. 6.

执行WordCount程序

--javascripttypescriptbashsqljsonhtmlcssccppjavarubypythongorustmarkdown

[yzh@hadoop102 hadoop-3.2.2]$ hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.2.2.jar wordcount /input /output

  1. 7.

查看日志

  1. 1.

历史服务器地址

http://hadoop102:19888/jobhistory

  1. 2.

历史任务列表

  1. 3.

查看任务运行日志

  1. 4.

运行日志详情

7、集群启动/停止方法总结

  1. 1.

各个模块分开启动/停止（配置ssh是前提）常用

  1. 1.

整体启动/停止HDFS

--javascripttypescriptbashsqljsonhtmlcssccppjavarubypythongorustmarkdown

start-dfs.sh/stop-dfs.sh

  1. 2.

整体启动/停止YARN

--javascripttypescriptbashsqljsonhtmlcssccppjavarubypythongorustmarkdown

start-yarn.sh/stop-yarn.sh

  1. 2.

各个服务组件逐一启动/停止

  1. 1.

分别启动/停止HDFS组件

--javascripttypescriptbashsqljsonhtmlcssccppjavarubypythongorustmarkdown

hdfs --daemon start/stop namenode/datanode/secondarynamenode

  1. 2.

启动/停止YARN

--javascripttypescriptbashsqljsonhtmlcssccppjavarubypythongorustmarkdown

yarn --daemon start/stop resourcemanager/nodemanager

8、编写Hadoop集群常用脚本

  1. 1.

Hadoop集群启停服务（包含 HDFS，YARN，HistoryServer）：myhadoop.sh

--javascripttypescriptbashsqljsonhtmlcssccppjavarubypythongorustmarkdown

[yzh@hadoop102 ~]$ cd /home/yzh/bin
[yzh@hadoop102 bin]$ vim myhadoop.sh

  1. 1.

输入如下内容

--javascripttypescriptbashsqljsonhtmlcssccppjavarubypythongorustmarkdown

#!/bin/bash

if [ $# -lt 1 ]
then 
      echo "No Args Input..."
      exit ;
fi

case $1 in
"start")
      echo " =================== 启动 hadoop 集群 ==================="
      echo " --------------- 启动 hdfs ---------------"
      ssh hadoop102 "/opt/module/hadoop-3.2.2/sbin/start-dfs.sh"
      echo " --------------- 启动 yarn ---------------"
      ssh hadoop103 "/opt/module/hadoop-3.2.2/sbin/start-yarn.sh"
      echo " --------------- 启动 historyserver ---------------"
      ssh hadoop102 "/opt/module/hadoop-3.2.2/bin/mapred --daemon start historyserver"
;;
"stop")
      echo " =================== 关闭 hadoop 集群 ==================="
      echo " --------------- 关闭 historyserver ---------------"
      ssh hadoop102 "/opt/module/hadoop-3.2.2/bin/mapred --daemon stop historyserver"
      echo " --------------- 关闭 yarn ---------------"
      ssh hadoop103 "/opt/module/hadoop-3.2.2/sbin/stop-yarn.sh"
      echo " --------------- 关闭 hdfs ---------------"
      ssh hadoop102 "/opt/module/hadoop-3.2.2/sbin/stop-dfs.sh"
;;
*)
      echo "Input Args Error..."
;;
esac

  1. 2.

保存后退出，然后赋予脚本执行权限

--javascripttypescriptbashsqljsonhtmlcssccppjavarubypythongorustmarkdown

[yzh@hadoop102 bin]$ chmod +x myhadoop.sh

  1. 2.

查看三台服务器java进程脚本：jpsall

--javascripttypescriptbashsqljsonhtmlcssccppjavarubypythongorustmarkdown

[yzh@hadoop102 ~]$ cd /home/atguigu/bin
[yzh@hadoop102 bin]$ vim jpsall

  1. 1.

输入内容

--javascripttypescriptbashsqljsonhtmlcssccppjavarubypythongorustmarkdown

#!/bin/bash
for host in hadoop102 hadoop103 hadoop104
do
echo =============== $host ===============
ssh $host jps 
done

  1. 2.

保存后退出，然后赋予脚本执行权限

--javascripttypescriptbashsqljsonhtmlcssccppjavarubypythongorustmarkdown

[yzh@hadoop102 bin]$ chmod +x jpsall

  1. 3.

分发/home/yzh/bin目录，保证自定义脚本在三台机器上都可以使用

--javascripttypescriptbashsqljsonhtmlcssccppjavarubypythongorustmarkdown

[yzh@hadoop102 ~]$ xsync /home/yzh/bin/

9、常用端口号说明

端口名称

Hadoop2.x

Hadoop3.x

NameNode内部通信端口

8020/9000

8020/9000/9820

NameNode HTTP UI

50070

9870

MapReduce查看执行任务窗口

8088

8088

历史服务器通信端口

19888

19888

10、集群时间同步

--javascripttypescriptbashsqljsonhtmlcssccppjavarubypythongorustmarkdown

如果服务器在公网环境（能连接外网），可以以不采用集群时间同步，因为服务器会定期和公网时间进行校准；

如果服务器在内网环境，必须要配置集群时间同步，否则时间久了，会产生时间偏差，导致集群执行任务时间不同步。

  1. 1.

需求

  1. 2.

时间服务器配置（必须是root用户）

  1. 1.

查看所有节点ntpd服务状态和开机自启动状态

  1. 2.

修改hadoop102的ntp.conf配置文件

修改内容如下

  1. 1.

修改1（授权192.168.25.0-192.168.25.255网段上所以有的机器可以从这台机器上查询和同步时间）

  1. 2.

修改2（集群在局域网中不使用其他互联网上的时间）

  1. 3.

添加3（当该节点丢失网络连接，依然可以采用本地时间作为时间服务器为集群中的其他节点提供时间同步）

  1. 3.

修改hadoop102的/etc/sysconfig/ntpd 文件

  1. 4.

重新启动ntpd服务

  1. 5.

设置 ntpd服务开机启动

  1. 3.

其他机器配置（必须是root用户）

  1. 1.

关闭所有节点上ntp服务和自启动

  1. 2.

在其他机器配置1分钟与时间服务器同步一次

  1. 3.

修改任意机器时间

  1. 4.

1分钟后查看机器是否与时间服务器同步

三、常见错误及解决方案

  1. 1.

防火墙没关闭，或者灭有启动YARN

INFO client.RMProxy: Connecting to ResourceManager at hadoop108/192.168.25.108:8032

  1. 2.

主机名称配置错误

  1. 3.

IP地址配置错误

  1. 4.

ssh没有配置好

  1. 5.

root用户和yzh两个用户启动集群不统一

  1. 6.

配置文件修改不细心

  1. 7.

不识别主机名称

--javascripttypescriptbashsqljsonhtmlcssccppjavarubypythongorustmarkdown

java.net.UnknownHostException: hadoop102: hadoop102
at 
java.net.InetAddress.getLocalHost(InetAddress.java:1475)
at 
org.apache.hadoop.mapreduce.JobSubmitter.submitJobInternal(Job
Submitter.java:146)
at org.apache.hadoop.mapreduce.Job$10.run(Job.java:1290)
at org.apache.hadoop.mapreduce.Job$10.run(Job.java:1287)
at java.security.AccessController.doPrivileged(Native 
Method)
at javax.security.auth.Subject.doAs(Subject.java:415)

解决方法：

  1. 1.

在/etc/hosts 文件中添加 192.168.25.102 hadoop102

  1. 2.

主机名称不要起 hadoop hadoop000 等特殊名称

  1. 8.

DataNode 和 NameNode进程同时只能工作一个

  1. 9.

执行命令不生效，粘贴Word中命令是，遇到-和—没区分开。导致命令失效

--javascripttypescriptbashsqljsonhtmlcssccppjavarubypythongorustmarkdown

解决办法：尽量不要粘贴Word中代码

  1. 10.

jps发现进程已经没有，但是重新启动集群，提示进程已经开启。

--javascripttypescriptbashsqljsonhtmlcssccppjavarubypythongorustmarkdown

原因是在Linux根目录下/temp目录中存在启动的进程临时文件，将集群相关进程删除掉，再重新启动集群

  1. 11.

jps不生效

--javascripttypescriptbashsqljsonhtmlcssccppjavarubypythongorustmarkdown

原因：全局变量hadoop java 没有生效。解决办法：需要source /etc/profile文件。

  1. 12.

8088端口连接不上

--javascripttypescriptbashsqljsonhtmlcssccppjavarubypythongorustmarkdown

[yzh@hadoop102 ~]$ cat /etc/hosts

#注释掉如下代码

#127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
#::1 hadoop102

YPeiQi
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
Hadoop集群安装
01-07
Hadoop集群安装   集群规划   服务器hadoop101 服务器hadoop102 服务器hadoop103 HDFS NameNode DataNode DataNode DataNode ...
java流的学习
qq_40286394的博客
02-14 112
java关于流的学习
hadoop3.x包括组件搭建
weixin_47295112的博客
10-31 506
随便做下笔记，好记性不如烂笔头
javascript 书写“一个数组push进另一个数组并去重，如果被push的数组中有和被加入数组相同的对象则不添加”代码
Mission_yqt的博客
07-03 714
然后我们使用for…of循环遍历arr2中的所有元素，并使用some()方法检查是否有和arr1中相同的对象。如果不重复，则使用push()方法将元素添加进arr1数组中。需要注意的是，这种方法的前提是比较的对象具有相同的属性名和相同的属性值，这样才能保证正确地去重和比较对象。在这里我们以对象的id作为比较基准。在以上代码中，我们首先定义了两个数组arr1和arr2，并将arr2添加进arr1中。最后，我们将修改后的数组arr1打印出来，以便验证。
kettle9.0+ 连接Hadoop报错
x²＋(y－√³x²)²＝1的博客
06-03 1014
kettle bug
linux查看hadoop version出错
weixin_43820544的博客
09-09 2973
报错： WARNING: HADOOP_PREFIX has been replaced by HADOOP_HOME. Using value of HADOOP_PREFIX. ERROR: JAVA_HOME /usr/java/default does not exist. 原因： JAVA_HOME配置出错，系统找不到位置 解决方案： 重新配置JAVA_HOME 1. 执行命令find / -name java 选中部分即为JAVA...
Hadoop错误及解决方案集锦
pichcar1982的博客
12-28 2663
下面列举了在启动Hadoop集群时出现的各种错误及解决方案 当启动HDFS集群的时候，启动后用jps命令查询集群各组件状态，发现Secondary name node没有出现。 故到Hadoop服务的logs日志文件夹查看hadoop-root-secondarynamenode-VM-4-2-ubuntu.log，发现如下报错： Lock on /export/servers/hadoop-2.7.5/hadoopDatas/snn/name/in_use.lock或者Lock on /expor
Hadoop部署中出现的报错和解决方法
weixin_45620104的博客
06-02 1492
仅记录自己在做Hadoop实验部署的时候遇到的报错以及后面怎么解决的 安装java 看见有些安装教程只有yum install java-1.8.0-openjdk.x86_64，这样安装是不完整的，java -version能够查看版本，但是javac和jps命令会报错command not found 解决方法：再安装一个openjdk-devel yum install java-1.8.0-openjdk-devel.x86_64 修改hadoop-env.sh 刚开始修改为export J
执行命令hadoop version出现错误
m0_67393828的博客
04-12 4285
windows伪集群，执行命令hadoop version出现错误： ‘-Xmx512m’ 不是内部或外部命令，也不是可运行的程序或批处理文件。 出现现象： 在Windows命令窗口执行hadoop version出错 原因： JAVA_HOME路径设置问题 分析： 执行java -version是没有任何问题的，所以问题出现在etchadoop中的hadoop-env.cmd文件的配置，原来是其JAVA_HOME配置时出现了空格，如：D:Program FilesJavajdk1.8.0_11
Hadoop完全分布式环境搭建
weixin_46031805的博客
09-23 1400
hadoop集群完全分布式搭建流程，从免密登陆开始搭建
hadoop集群安装步骤
08-31
hadoop集群安装详细步骤，支持snappy hadoop 集群安装
Hadoop集群安装配置步骤
12-11
Hadoop集群安装配置步骤【51CTO学院大数据工程师微职位】
hadoop集群平台的搭建
qq_40736702的博客
03-31 653
环境配置： master：192.168.1.20 slave1：192.168.1.21 slave2：192.168.1.22 准备工作： #yum安装需要的服务，关闭防火墙和selinux， yum -y install wget vim gcc net-tools curl lrzsz rsync yum update systemctl status firewalld systemctl stop firewalld systemctl disable firewalld vim /
[hadoop]3.0.0版本以上mac hadoop环境配置安装，以及安装的一些坑解决
新一的技术笔记
01-26 3410
[hadoop]3.0.0版本以上mac hadoop环境配置安装，以及安装的一些坑解决
ubuntu中hadoop完全分布式部署【三台主机】
weixin_38383877的博客
05-16 419
链接：https://pan.baidu.com/s/1tmVEGjRI_7CXgCzcmocRAw。2、在/etc/profile中添加环境变量，并使其生效【注意切换为自己的实际路径】3、安装成功测试,输入以下命令，出现java版本。#（1）在三台主机中分别生成密钥，六、配置hadoop完全分布部署。#（2）在三台主机中传输密钥。# 退出连接使用:logout。五、配置zookeeper环境。解决方案：重新安装vim。# 查看是否修改成功。
虚拟机创建及配置 和 xshell,sftp连接 和 jkd,hadoop的安装和配置
最新发布
m0_67466364的博客
05-19 644
core-site.xml文件中包含如读/写缓冲器用于Hadoop的实例的端口号的信息，分配给文件系统存储，用于存储所述数据存储器的限制和大小.文件中包含如复制数据的值，NameNode路径的信息，，本地文件系统的数据节点的路径。ssh-keygen -t rsa -P ‘’ -f ~/.ssh/id_rsa （注意 p是大写）// 编辑ifcfg-ens33文件(有的是ifcfg-ens32)//在 hosts文件中 添加自己的 “主机名 ip地址”//执行java.sh文件,让其生效。
Hadoop的调度器总结
m0_62008384的博客
05-19 375
目前 ，Hadoop作业调度器主要有三种 ：FIFO、Capacity Scheduler和Fair Scheduler。Hadoop2.7.2默认的资 源调度器是Capacity Scheduler。
Hadoop、Spark、HBase与Redis的适用性见解
IT深耕十余载，大道之简
05-15 385
总结来说，Hadoop、Spark、HBase和Redis各自具有不同的适用性和优势。Hadoop适合处理大规模数据集的离线批处理任务；Spark适用于实时数据分析、机器学习等多种场景；HBase适合存储稀疏表结构的数据；而Redis则适用于需要高速读写性能、低延迟和实时性的场景。在选择使用哪个技术时，需要根据具体的业务需求和场景来综合考虑。Hadoop、Spark、HBase和Redis各自在大数据技术领域具有不同的适用性和优势。
Hadoop集群安装过程
06-08
Hadoop集群安装过程较为复杂，需要进行多个步骤和配置，请参考以下步骤： 1. 安装Java环境 Hadoop是基于Java开发的，需要先安装Java环境。建议安装Java 8或以上版本。 2. 下载和安装Hadoop 可以从Apache官网下载...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值