Hadoop集群实践-完整Hadoop分布式集群部署ubuntu-16.04.1+hadoop-2.7.3

最新推荐文章于 2023-12-09 09:52:47 发布
最新推荐文章于 2023-12-09 09:52:47 发布
阅读量4k 收藏 5
点赞数
分类专栏： hadoop 文章标签： hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u014677702/article/details/53290112
版权

超详细记录Ubuntu16.04.1 3台服务器上Hadoop2.7.3完全分布式集群部署过程。包含，Ubuntu服务器创建、远程工具连接配置、Ubuntu服务器配置、Hadoop文件配置、Hadoop格式化、Hadoop启动。

Hadoop欢迎页面：

超详细从零记录Hadoop2.7.3完全分布式集群部署过程

集群规划：

主机名/hostname IP 角色
master 192.168.182.129 ResourceManager/NameNode/SecondaryNameNode
slave1 192.168.182.130 NodeManager/DataNode
slave2 192.168.182.131 NodeManager/DataNode

1.0.准备

1.1.目录

  • 用VMware创建3个Ubuntu虚拟机
  • 用mobaxterm远程连接创建好的虚拟机
  • 配置Ubuntu虚拟机源、ssh无密匙登录配置、jdk安装
  • 配置Hadoop集群文件
  • 启动Hadoop集群、在Windows主机上显示集群状态。

1.2.提前准备安装包

  • Windows7（宿主操作系统）
  • VMware-workstation-full-12.0.0-2985596.exe（虚拟机）
  • ubuntu-16.04.1-server-amd64.iso 服务器版
  • hadoop-2.7.3.tar.gz
  • jdk-8u111-linux-x64.tar.gz
  • xShell（远程连接工具）

2. VMvare安装Ubuntu16.04.1服务器版过程

2.1.注意在安装时username要一致如shun，即主机用户名。而主机名hostname可不同,如使用master,slave1,slave2区分hostname主机名。

2.2.VMvare安装Ubuntu16.04.1桌面版过程

2.3.在VMvare中选择 文件 然后 新建虚拟机

2.4选择典型安装

这里写图片描述

2.5.选择下载好的Ubuntu64位 16.04.1服务器版镜像,选择“安装程序光盘映射文件”，选择到“ubuntu-16.04.1-server-amd64.iso”镜像文件，下一步

这里写图片描述

2.6.个性化Linux设置，全名三个虚拟机都填写shun,用户名/密码填写shun/shun66，下一步

这里写图片描述

2.7.虚拟机命名及文件路径 master\slave1\slave2等，位置填写F:\VMData\Virtual Machines\master或者F:\VMData\Virtual Machines\slave1或者F:\VMData\Virtual Machines\slave2，下一步

这里写图片描述

2.8.磁盘分配，默认即可，磁盘大小可以根据自身硬盘空间调节（不要太小）

这里写图片描述

2.9.然后就是等待安装完成，输入登录名 shun登录密码**…

这里写图片描述

建立好的虚拟机如下:

通过ifconfig命令查看每台服务器IP地址:
IP 192.168.182.129   默认主机名ubuntu
IP 192.168.182.130   默认主机名ubuntu
IP 192.168.182.131   默认主机名ubuntu
下一步会修改主机名hostname
   
   
  • 1
  • 2
  • 3
  • 4
  • 5

   
   
  • 1
  • 2
  • 3
  • 4
  • 5

3. 配置Ubuntu系统（服务器版在VMware中操作不方便，通过远程在putty或者MobaXterm操作比较快捷些）

3.1 安装ssh即可。这里不需要 ssh-keygen。

打开终端或者服务器版命令行 
查看是否安装（ssh）openssh-server，否则无法远程连接。

这里写图片描述

sshd
sudo apt install openssh-server
   
   
  • 1
  • 2

   
   
  • 1
  • 2

3.2.安装ssh后，可以通过工具（xShell）远程连接已经建立好的服务器（master，slave1，slave2）

这里写图片描述

同样三个虚拟机建立连接

这里写图片描述

3.3.更换为国内源（清华大学帮助文档）

在master、slave1、slave2中

shun@ubuntu:~$ sudo vi /etc/apt/sources.list
   
   
  • 1

   
   
  • 1
# 默认注释了源码镜像以提高 apt update 速度，如有需要可自行取消注释
deb https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ xenial main restricted universe multiverse
# deb-src https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ xenial main main restricted universe multiverse
deb https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ xenial-updates main restricted universe multiverse
# deb-src https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ xenial-updates main restricted universe multiverse
deb https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ xenial-backports main restricted universe multiverse
# deb-src https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ xenial-backports main restricted universe multiverse
deb https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ xenial-security main restricted universe multiverse
# deb-src https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ xenial-security main restricted universe multiverse

# 预发布软件源，不建议启用
# deb https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ xenial-proposed main restricted universe multiverse
# deb-src https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ xenial-proposed main restricted universe multiverse
   
   
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13

   
   
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13

更新源

shun@ubuntu:~$ sudo apt update
   
   
  • 1

   
   
  • 1

3.4.安装vim编辑器，默认自带vi编辑器

sudo apt install vim
   
   
  • 1

   
   
  • 1

更新系统（服务器端更新量小，桌面版Ubuntu更新量较大，可以暂时不更新）

sudo apt-get upgrade
   
   
  • 1

   
   
  • 1

3.5.修改Ubuntu服务器hostname主机名，主机名和ip是一一对应的。

#在192.168.182.129
shun@ubuntu:~$ sudo hostname master

#在192.168.182.130
shun@ubuntu:~$ sudo hostname slave1

#在192.168.182.131
shun@ubuntu:~$ sudo hostname slave2

#断开远程连接，重新连接即可看到已经改变了主机名。
   
   
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10

   
   
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10

3.6.增加hosts文件中ip和主机名对应字段

在master\slave1\slave2服务器中设置hosts

shun@master:~$ sudo vim /etc/hosts
   
   
  • 1

   
   
  • 1
192.168.182.129 master
192.168.182.130 slave1
192.168.182.133 slave2
   
   
  • 1
  • 2
  • 3

   
   
  • 1
  • 2
  • 3

这里写图片描述

3.7.修改服务器master\slave1\slave2的系统时区（将时间同步更改为北京时间）

shun@master:~$ date
Wed Oct 26 02:42:08 PDT 2016
   
   
  • 1
  • 2

   
   
  • 1
  • 2
shun@master:~$ sudo tzselect
   
   
  • 1

   
   
  • 1

根据提示选择Asia China Beijing Time yes (一次选择相应项对应的序号数)
最后将Asia/Shanghai shell scripts 复制到/etc/localtime

shun@hadoop1:~$ sudo cp /usr/share/zoneinfo/Asia/Shanghai  /etc/localtime
   
   
  • 1

   
   
  • 1
shun@ubuntu:~$ date
Wed Oct 26 17:45:30 CST 2016
   
   
  • 1
  • 2

   
   
  • 1
  • 2

4. Hadoop集群完全分布式部署过程

  • JDK配置
  • Hadoop集群部署

4.1.安装JDK1.8

4.1.1将所需文件（Hadoop2.7.3、JDK1.8）上传至Hadoop1服务器（可以直接复制粘贴）

这里写图片描述

4.1.2.解压缩并将jdk放置/opt路径下

shun@master:~$ tar -zxf jdk-8u111-linux-x64.tar.gz
shun@master:~$ sudo mv jdk1.8.0_111 /opt/
[sudo] password for master:
shun@master:~$
   
   
  • 1
  • 2
  • 3
  • 4

   
   
  • 1
  • 2
  • 3
  • 4

4.1.3.配置环境变量

编写环境变量脚本并使其生效

shun@master:~$ sudo vim /etc/profile.d/jdk1.8.sh
   
   
  • 1

   
   
  • 1

输入内容

#!/bin/sh
# author:shun
# blog:http://write.blog.csdn.net/postedit
# date:20161122
export JAVA_HOME=/opt/jdk1.8.0_111
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH
   
   
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8

   
   
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
shun@master:~$ source /etc/profile
   
   
  • 1

   
   
  • 1

4.1.4.验证jdk成功安装

shun@master:~$ java -version
java version "1.8.0_111"
Java(TM) SE Runtime Environment (build 1.8.0_111-b14)
Java HotSpot(TM) 64-Bit Server VM (build 25.111-b14, mixed mode)
   
   
  • 1
  • 2
  • 3
  • 4

   
   
  • 1
  • 2
  • 3
  • 4

4.1.5.同样方法安装其他集群机器。

也可通过scp命令

#注意后面带 : 默认是/home/shun路径下
shun@master:~$ scp jdk-8u111-linux-x64.tar.gz slave1:
shun@master:~$ scp jdk-8u111-linux-x64.tar.gz slave2:
   
   
  • 1
  • 2

   
   
  • 1
  • 2

命令解析：scp 远程复制 -r 递归 本机文件地址 app是文件，里面包含jdk、Hadoop包 远程主机名@远程主机ip:远程文件地址

4.2.集群ssh无密匙登录设置

4.2.1.在master,slave1,slave2中执行

sudo apt install ssh
sudo apt install rsync
shun@master:~$ ssh-keygen -t rsa //一路回车就好(会提示输入，直接回车，不需要填写)
   
   
  • 1
  • 2
  • 3

   
   
  • 1
  • 2
  • 3

4.2.2.在 master（master角色）服务器上 执行，将~/.ssh/下的id_rsa.pub公私作为认证发放到master,slave1,slave2的~/.ssh/下

ssh-copy-id -i ~/.ssh/id_rsa.pub master
ssh-copy-id -i ~/.ssh/id_rsa.pub slave1
ssh-copy-id -i ~/.ssh/id_rsa.pub slave2设置完后，通过#ssh localhost测试，第一次登录会有如下提示：
The authenticity of host 'localhost (127.0.0.1)' can't be established.
RSA key fingerprint is a2:44:5f:79:00:c9:17:3b:b4:b5:47:cf:66:be:c4:0d.
Are you sure you want to continue connecting (yes/no)?
输入yes后，之后就不需要了。(必须操作)

   
   
  • 1
  • 2
  • 3

   
   
  • 1
  • 2
  • 3

4.2.3.然后在 master上登录其他Linux服务器不需要输入密码即成功。

#不需要输入密码
ssh slave1
   
   
  • 1
  • 2

   
   
  • 1
  • 2

这里写图片描述

5.hadoop完全分布式集群文件配置和启动

在master上配置完成后将Hadoop包直接远程复制scp到其他Linux主机即可。 

在master上解压：tar -zxf hadoop-2.7.3.tar.gz
Linux主机Hadoop集群完全分布式分配

这里写图片描述

5.1.Hadoop主要文件配置

5.1.1.在Hadoop1，2，3中配置Hadoop环境变量

shun@master:~$ sudo vim /etc/profile.d/hadoop2.7.3.sh
   
   
  • 1

   
   
  • 1

输入

#!/bin/sh
# author:shun# blog:http://write.blog.csdn.net/postedit# date:20161122
# Path：/etc/profile.d/hadoop2.7.3.sh
export HADOOP_HOME="/opt/hadoop-2.7.3"
export PATH="$HADOOP_HOME/bin:$PATH"
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export YARN_CONF_DIR=$HADOOP_HOME/etc/hadoop
   
   
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11

   
   
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11

5.1.2.配置..\hadoop-2.7.3\etc\hadoop\hadoop-env.sh 增加如下内容

export JAVA_HOME=/opt/jdk1.8.0_111
   
   
  • 1

   
   
  • 1

5.1.3.配置..\hadoop-2.7.3\etc\hadoop\slaves文件，增加slave主机名

slave1
slave2
   
   
  • 1
  • 2

   
   
  • 1
  • 2

5.1.4.配置..\hadoop-2.7.3\etc\hadoop\core-site.xml,创建/home/shun/hadoop/tmp目录

<configuration>
        <!-- 指定hdfs的nameservice为ns1 -->
        <property>
                <name>fs.defaultFS</name>
                <value>hdfs://master:9000</value>
        </property>
        <!-- Size of read/write buffer used in SequenceFiles. -->
        <property>
         <name>io.file.buffer.size</name>
         <value>131072</value>
       </property>
        <!-- 指定hadoop临时目录,自行创建 -->
        <property>
                <name>hadoop.tmp.dir</name>
                <value>/home/shun/hadoop/tmp</value>
        </property>
</configuration>
   
   
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17

   
   
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17

5.1.5.配置..\hadoop-2.7.3\etc\hadoop\hdfs-site.xml

<configuration>
    <property>
      <name>dfs.namenode.secondary.http-address</name>
      <value>master:50090</value>
    </property>    <property>
      <name>dfs.replication</name>
      <value>2</value>
    </property>
    <property>
      <name>dfs.namenode.name.dir</name>
      <value>file:/home/shun/hadoop/hdfs/name</value>
    </property>
    <property>
      <name>dfs.datanode.data.dir</name>
      <value>file:/home/shun/hadoop/hdfs/data</value>
    </property>
</configuration>
   
   
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18

   
   
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18

5.1.6.配置..\hadoop-2.7.3\etc\hadoop\yarn-site.xml

<configuration>

<!-- Site specific YARN configuration properties -->
<!-- Configurations for ResourceManager -->
     <property>
          <name>yarn.nodemanager.aux-services</name>
          <value>mapreduce_shuffle</value>
     </property>
     <property>
           <name>yarn.resourcemanager.address</name>
           <value>master:8032</value>
     </property>
     <property>
          <name>yarn.resourcemanager.scheduler.address</name>
          <value>master:8030</value>
      </property>
     <property>
         <name>yarn.resourcemanager.resource-tracker.address</name>
         <value>master:8031</value>
     </property>
     <property>
         <name>yarn.resourcemanager.admin.address</name>
         <value>master:8033</value>
     </property>
     <property>
         <name>yarn.resourcemanager.webapp.address</name>
         <value>master:8088</value>
     </property>
</configuration>
   
   
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
  • 25
  • 26
  • 27
  • 28
  • 29

   
   
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
  • 25
  • 26
  • 27
  • 28
  • 29

5.1.7.配置..\hadoop-2.7.3\etc\hadoop\mapred-site.xml

<configuration>
  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>
  <property>
          <name>mapreduce.jobhistory.address</name>
          <value>master:10020</value>
  </property>
  <property>
          <name>mapreduce.jobhistory.address</name>
          <value>master:19888</value>
  </property>
</configuration>
   
   
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14

   
   
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14

5.1.8.复制Hadoop配置好的包到其他Linux主机

shun@master:~$ scp -r hadoop-2.7.3 slave1:shun@master:~$ scp -r hadoop-2.7.3 slave2:

   
   
  • 1

   
   
  • 1

将每台服务器上的Hadoop包sudo mv移动到/opt/路径下。不要sudo cp，注意权限。

shun@master:sudo mv hadoop-2.7.3 /opt/
   
   
  • 1

   
   
  • 1

5.2.格式化节点

在hadoop1上执行

shun@master:/opt/hadoop-2.7.3$ bin/hadoop namenode -format
   
   
  • 1

   
   
  • 1

这里写图片描述

5.3.hadoop集群全部启动

### 5.3.1. 在master上执行

shun@master:/opt/hadoop-2.7.3/sbin$ ./start-all.sh
   
   
  • 1

   
   
  • 1

Hadoop2.7.3完全分布式集群部署过程

5.3.2.其他主机上jps

这里写图片描述

5.3.3.在主机上查看，博主是Windows7，直接在浏览器中输入master集群地址即可。

http://192.168.193.131:8088/
   
   
  • 1

   
   
  • 1

超详细从零记录Hadoop2.7.3完全分布式集群部署过程

5.4.可能问题：

权限问题： 
chown -R shun:shun hadoop-2.7.3 
解析：将hadoop-2.7.3文件属主、组更换为shun:shun
chmod 777 hadoop 
解析：将hadoop文件权限变成421 421 421 可写、可读可、执行即 7 7 7 
查看是否安装openssh-server

ssd
或者
ps -e|grep ssh
   
   
  • 1
  • 2
  • 3

   
   
  • 1
  • 2
  • 3

安装 openssh-server

sudo apt install openssh-server
   
   
  • 1

   
   
  • 1

问题解决： 
问题 
Network error: Connection refused 
解决安装

Network error: Connection refused
   
   
  • 1

   
   
  • 1

这里写图片描述

顶
shun @master :~ $ scp jdk- 8 u111-linux-x64.tar.gz slave1:
呼吸的小鱼
关注
  • 0
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
hadoop-common-2.7.3-bin-master-windows
03-21
hadoop-common-2.7.3-bin-master 包含hadoop.dll、winutils.exe，下载后解压，配置HADOOP_HOME环境变量
ubuntu建立集群
m0_56318237的博客
03-16 810
创建集群
在Ubuntu上安装Hadoop集群最速度教程
weixin_62796203的博客
12-09 238
ubuntu搭建hadoop集群中间可能会遇到许多小问题，比如ssh-copy-id,最后的访问web端等等，以及中间要无数次切换普通用户和root来达到互联，可能centos搭建hadoop会简单一点。搭建起来确实不太容易对于新手来说不太友好，做这样一个教程来帮助新手在ubuntu上配置hadoop集群。不要选择典型安装，典型安装之后登陆不上去，用户名和密码是正确的也登陆不上去（可能是这个版本的ubuntu有bug）设置->关于->软件->其他->选择服务器（推荐中科大的）
基于Ubuntu下安装kubernetes集群指南
张兆坤
06-29 3872
kubernetes已经是后台开发的必知必会的技能了，最快速的学习方法莫过于自己从零开始搭建集群环境，在上面做各种实验了。以下为笔者基于ubuntu22.04.2操作系统和kubernete1.27.3以及docker24.0.2搭建k8s集群的详细过程，尽量详尽，少留坑。
ubuntu服务器版本搭建Hadoop集群
junqiduhang的博客
03-01 1723
ubuntu服务器镜像；hadoop部署；三节点
Ubuntu下搭建Hadoop分布式集群
热门推荐
xk1835217729的博客
05-02 1万+
应学校课程要求，这学期学习到了云计算与大数据，这次实验就是让我们在ubuntu中配置好hadoop分布式集群，这两天就从网上一边各种搜寻教程结合课本（课本上是使用的centos，而且版本较老，不太适用）一边自己动手做，顺便自己也写一篇教程记录一下，其中也包含一些遇到的问题及解决方法。因为第一次接触到这方面所以有很多不足的地方，见谅，我只能做到尽量详细 在搭建的过程中，发现几篇写得很详细且文章排版清晰的博客，可供参考一下： https://blog.csdn.net/zyw2002/article/detai
hadoop-common-2.7.3-API文档-中文版.zip
05-01
赠送jar包：hadoop-common-2.7.3.jar； 赠送原API文档：hadoop-common-2.7.3-javadoc.jar； 赠送源代码：hadoop-common-2.7.3-sources.jar； 赠送Maven依赖信息文件：hadoop-common-2.7.3.pom； 包含翻译后的API文档...
hadoop-annotations-2.7.3-API文档-中英对照版.zip
04-20
赠送jar包：hadoop-annotations-2.7.3.jar； 赠送原API文档：hadoop-annotations-2.7.3-javadoc.jar； 赠送源代码：hadoop-annotations-2.7.3-sources.jar； 赠送Maven依赖信息文件：hadoop-annotations-2.7.3.pom；...
hadoop-common-2.7.3-bin-master
11-19
hadoop-common-2.7.3-bin-master windows平台下需要的hadoop.dll和winutils.exe等文件
hadoop-eclipse-plugin-2.7.3和2.7.7
09-23
hadoop-eclipse-plugin-2.7.3和2.7.7的jar包 hadoop-eclipse-plugin-2.7.3和2.7.7的jar包 hadoop-eclipse-plugin-2.7.3和2.7.7的jar包 hadoop-eclipse-plugin-2.7.3和2.7.7的jar包
在Ubuntu上配置Hadoop集群
09-20
这个文档介绍如何在Ubuntu上搭建Hadoop集群，亲自搭建过，跟着步骤走，很容易就搭建成功
Ubuntu 16.04 下搭建 Hadoop 3.1.1 集群
SolomonAnn的博客
12-07 813
Ubuntu 16.04 下搭建 Hadoop 3.1.1 集群环境说明前期准备配置JDK配置Hadoop测试配置结果 注： 以下标 ⋆\star⋆ 的步骤需要在三台机器上各自完成，其余只需要在 mastermastermaster 上完成； 教程中涉及到的用户名、路径和 IPIPIP 地址等信息根据实际情况填入即可。 环境说明 Ubuntu&nbsp;16.04Ubuntu\ 16.04...
Ubuntu22.04三台虚拟机Hadoop集群安装和搭建（全面详细的过程）
wurobb的博客
11-08 2879
Java 的官网下载链接：https://www.oracle.com/java/technologies/downloads/为 hadoop 配置 java 环境，打开hadoop安装目录的etc/hadoop/hadoop-env.sh文件。打开hadoop安装目录，进入/etc/hadoop路径，找到配置文件，并按照如下配置。一直下一步，等待完成，一直复制两台虚拟机hadoop101，hadoop102。分发hadoop配置，只分发配置文件，其余文件不同虚拟机有自己id不要修改。
Ubuntu 16.04——Hadoop集群安装配置
最後の後悔的博客
04-14 2198
hadoop 集群安装配置分为两个部分，一个部分是主节点（Master）和 从节点（Slave），两个部分需要完成的配置有一定的不同；总的来说，Master 所需要做的会比 Slave 会多一些。下面会演示两个部分需要做的事情；由于各台主机情况会有所不同，所以在报错的时候也会有一些的不一样，所以该文章仅供参考。
Ubuntu搭建Redis集群
流楚丶格念的博客
10-24 4935
为什么要有集群 之前我们已经讲了主从的概念，一主可以多从，如果同时的访问量过大(1000w),主服务肯定就会挂掉，数据服务就挂掉了或者发生自然灾难 大公司都会有很多的服务器(华东地区、华南地区、华中地区、华北地区、西北地区、西南地区、东北地区、台港澳地区机房) 集群的概念 集群是一组相互独立的、通过高速网络互联的计算机，它们构成了一个组，并以单一系统的模式加以管理。一个客户与集群相互作用时，集群像是一个独立的服务器。集群配置是用于提高可用性和可缩放性。 当请求到来首先由负载均衡服务器处理，把请求转发到另外
超级无敌详细使用ubuntu搭建hadoop完全分布式集群
web18334137065的博客
08-31 5878
先关闭master虚拟机然后点击虚拟机-----管理----克隆----下一步----下一步----选择创建完全克隆----下一步----更改虚拟机名称为slave1，位置自己选择即可。注意此时slave1和slave2虚拟机是克隆的，所以说配置文件和master是完全相同的，登录的话也是master的用户和密码（用户：hadoop 密码：你自己设置的）登录上咱们要给他更改一下主机名和IP地址。可以看到VMware下生成了一个名为master的虚拟机----点击开启此虚拟机。它将IP地址和主机名相互解析。.
Ubuntu 安装k8s集群
m0_60028455的博客
07-14 7433
镜像下载、域名解析、时间同步请点击 阿里云开源镜像站 前言 本文介绍如何在ubuntu上部署k8s集群，大致可以分为如下几个步骤 修改ubuntu配置 安装docker 安装kubeadm、kubectl以及kubelet 配置master节点 将slave节点加入网络 因为k8s分为管理节点和工作节点，所以我们将要 在master上部署管理节点，在worker上部署工作节点，master和worker节点信息如下 主机名：master，主机IP：192.168.56.11，版本：Ubuntu serv
TDengine集群搭建
专注基础架构领域
05-25 1102
点击要下载的压缩包后会有弹窗出来，让你填邮箱，填邮箱之后，会收到邮件，邮件内容中会附上实际下载地址，点击邮件内容中的邮件地址进行下载。在td1.test.com上执行ping td2.test.com，ping td3.test.com。在td2.test.com上执行ping td1.test.com，ping td3.test.com。在td3.test.com上执行ping td1.test.com，ping td2.test.com。td2在第二处将其修改为td2.test.com。
Ubuntu18.04下配置hadoop完全分布式集群
qq_52135683的博客
07-22 1953
ubuntu18.04下配置hadoop完全分布式配置
hadoop-eclipse-plugin-2.7.3.jarcsdn
最新发布
12-10
Hadoop是一个用于分布式存储和分析大规模数据的开源软件框架，而Eclipse是一个流行的集成开发环境，通过这个插件，开发人员可以在Eclipse中方便地开发、调试和测试Hadoop应用程序。 这个插件提供了Hadoop项目的模板...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值