完全分布式集群模式（10）

最新推荐文章于 2020-11-17 19:07:27 发布
最新推荐文章于 2020-11-17 19:07:27 发布
阅读量576 收藏 4
点赞数
分类专栏： 大数据集群搭建 文章标签： 完全分布式集群模式 大数据集群搭建
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41544550/article/details/102788742
版权

完全分布式：

1.准备三台客户机

    通过克隆复制三台虚拟机hadoop102、hadoop103、hadoop104（从基本的虚拟机（未安装或者安装了jdk、hadoop都行）复制即可）

1）准备3台客户机（关闭防火墙、静态ip、主机名称）

2）安装jdk

3）配置环境变量

4）安装hadoop

5）配置环境变量

6）安装ssh

7）配置集群

8）启动测试集群

配置上述一些环境可参考下面的博客：

https://blog.csdn.net/qq_41544550/article/details/102749750

https://blog.csdn.net/qq_41544550/article/details/102788370

2.安装jdk，安装hadoop

    安装包可以从其它虚拟机复制，也可以通过SecureFX复制

    scp -r hadoop-2.7.2.tar.gz atguigu@hadoop103:/opt/software/

    scp -r jdk-8u144-linux-x64.tar.gz atguigu@hadoop103:/opt/software/

    scp -r hadoop-2.7.2.tar.gz atguigu@hadoop104:/opt/software/

    scp -r jdk-8u144-linux-x64.tar.gz atguigu@hadoop104:/opt/software/

    

    解压安装包

    tar -zxvf hadoop-2.7.2.tar.gz -C /opt/module/

    tar -zxvf jdk-8u144-linux-x64.tar.gz -C /opt/module/

3.配置JAVA_HOME和HADOOP_HOME（三台机器都要root权限下执行：vim /etc/profile）

        #JAVA_HOME

        export JAVA_HOME=/opt/module/jdk1.8.0_144

        export PATH=$PATH:$JAVA_HOME/bin

        #HADOOP_HOME

        export HADOOP_HOME=/opt/module/hadoop-2.7.2

        export PATH=$PATH:$HADOOP_HOME/bin

        export PATH=$PATH:$HADOOP_HOME/sbin

4.使每个节点上的环境变量生效（三台机器都要：source /etc/profile）

        source /etc/profile

配置SSH无密登录（hadoop102和hadoop103都要生成）

[atguigu@hadoop102 hadoop-2.7.2]$ ssh hadoop103

atguigu@hadoop103's password:

Last login: Fri Aug 16 14:34:13 2019 from hadoop102

[atguigu@hadoop103 ~]$ hostname

hadoop103

无密钥配置

hadoop102配置：

（1）进入到我的home目录cd  ~/.ssh 

（2）生成公钥和私钥： 

    [atguigu@hadoop102 .ssh]$ ssh-keygen -t rsa 

        然后敲（三个回车），就会生成两个文件id_rsa（私钥）、id_rsa.pub（公钥） 

    [atguigu@hadoop102 .ssh]$ ll

    总用量 12

    -rw-------. 1 atguigu atguigu 1675 8月  16 15:30 id_rsa

    -rw-r--r--. 1 atguigu atguigu  399 8月  16 15:30 id_rsa.pub

    -rw-r--r--. 1 atguigu atguigu  814 8月  16 14:06 known_hosts

（3）将公钥拷贝到要免密登录的目标机器上 ssh-copy-id hadoop103、ssh-copy-id hadoop104

    [atguigu@hadoop102 .ssh]$ ssh-copy-id hadoop103  输入密码

    [atguigu@hadoop102 .ssh]$ ssh-copy-id hadoop104  输入密码

    [atguigu@hadoop102 .ssh]$ ssh-copy-id hadoop102  输入密码

（4）在hadoop102下

    [atguigu@hadoop102 .ssh]$ ssh hadoop102

    known_hosts

hadoop103配置：

因为ResourceManager是配置在这台机器的，如果是配置在hadoop102上则只需要在102生成

（1）进入到我的home目录cd  ~/.ssh 

（2）生成公钥和私钥：

    [atguigu@hadoop103 .ssh]$ ssh-keygen -t rsa

        然后敲（三个回车），就会生成两个文件id_rsa（私钥）、id_rsa.pub（公钥）

    [atguigu@hadoop103 .ssh]$ ll

    总用量 16

    -rw-------. 1 atguigu atguigu  399 8月  16 15:31 authorized_keys

    -rw-------. 1 atguigu atguigu 1675 8月  17 11:12 id_rsa

    -rw-r--r--. 1 atguigu atguigu  399 8月  17 11:12 id_rsa.pub

    -rw-r--r--. 1 atguigu atguigu 1221 8月  17 10:22 known_hosts

    

（3）将公钥拷贝到要免密登录的目标机器上 ssh-copy-id hadoop103、ssh-copy-id hadoop104

    [atguigu@hadoop102 .ssh]$ ssh-copy-id hadoop103  输入密码

    [atguigu@hadoop102 .ssh]$ ssh-copy-id hadoop104  输入密码

    [atguigu@hadoop102 .ssh]$ ssh-copy-id hadoop102  输入密码

（4）在hadoop103下

    [atguigu@hadoop103 .ssh]$ ssh hadoop102

.ssh文件夹下的文件功能解释

（1）~/.ssh/known_hosts ：记录ssh访问过计算机的公钥(public key)

（2）id_rsa ：生成的私钥 

（3）id_rsa.pub ：生成的公钥 

（4）authorized_keys ：存放授权过得无秘登录服务器公钥

5.准备分发脚本 xsync：循环复制文件到所有节点的相同目录下

1）在/usr/local/bin目录下创建xsync文件

#!/bin/bash
#1 获取输入参数个数，如果没有参数，直接退出
pcount=$#
if((pcount==0)); then
echo no args;
exit;
fi

#2 获取文件名称
p1=$1
fname=`basename $p1`
echo fname=$fname

#3 获取上级目录到绝对路径
pdir=`cd -P $(dirname $p1); pwd`
echo pdir=$pdir

#4 获取当前用户名称
user=`whoami`

#5 循环
for((host=103; host<105; host++)); do
        #echo $pdir/$fname $user@hadoop$host:$pdir
        echo --------------- hadoop$host ----------------
        rsync -rvl $pdir/$fname $user@hadoop$host:$pdir
done

2）修改脚本 xsync 具有执行权限  

    [root@hadoop102 bin]# chmod a+x xsync

3）测试

    配置SSH之后

5.配置xcall：在所有主机上同时执行相同的命令

    xcall+命令

    在/usr/local/bin目录下创建xcall文件

#!/bin/bash
pcount=$#
if((pcount==0));then
        echo no args;
        exit;
fi
echo -------------localhost----------
$@
for((host=101; host<=108; host++)); do
        echo ----------hadoop$host---------
        ssh hadoop$host $@
done

赋予权限

    [root@hadoop102 bin]# chmod 777 xcall

    执行

    

6.明确集群的配置

    

7.修改配置文件

    核心配置文件

    1）core-site.xml

 <!-- 指定HDFS中NameNode的地址 -->
 <property>
     <name>fs.defaultFS</name>
     <value>hdfs://hadoop102:9000</value>
 </property>
 <!-- 指定hadoop运行时产生文件的存储目录 -->
 <property>
     <name>hadoop.tmp.dir</name>
     <value>/opt/module/hadoop-2.7.2/data/tmp</value>
 </property>

    hdfs配置文件

    2）hadoop-env.sh

        25行 export JAVA_HOME=/opt/module/jdk1.8.0_144

    3）hdfs-site.xml

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>3</value>
    </property>

    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>hadoop104:50090</value>
    </property>
</configuration>

    yarn配置文件

    4）yarn-env.sh

      23行 export JAVA_HOME=/opt/module/jdk1.8.0_144

    5）yarn-site.xml

<configuration>
    <!-- reducer获取数据的方式 -->
    <property>
         <name>yarn.nodemanager.aux-services</name>
         <value>mapreduce_shuffle</value>
    </property>

    <!-- 指定YARN的ResourceManager的地址 -->
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>hadoop103</value>
    </property>
</configuration>

    MapReduce配置文件

    6）mapred-env.sh

<configuration>
    <!-- 指定mr运行在yarn上 -->
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

    7）mapred-site.xml

<configuration>
    <!-- 指定mr运行在yarn上 -->
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

    8）slaves

hadoop102
hadoop103
hadoop104

8.分发配置文件

    

9.集群启动并测试

    注意：先启动HDFS，在启动YARN；关闭时，先关闭YARN，再关闭HDFS

    1）启动集群

    ① 如果集群是第一次启动，则直接进行格式化；如果不是，则需要删除data和logs文件夹在格式化启动

    [atguigu@hadoop102 hadoop-2.7.2]$ bin/hdfs namenode -format

  

    ② 启动HDFS

    [atguigu@hadoop102 hadoop-2.7.2]$ sbin/start-dfs.sh

    启动NameNode、DataNode、SecondryNamenode

    

    

    ③ 启动yarn    

    [atguigu@hadoop103 hadoop-2.7.2]$ sbin/start-yarn.sh

    注意：Namenode和ResourceManger如果不是同一台机器，不能在NameNode上启动 yarn，应该在ResouceManager所在的机器上启动yarn。    

    web端查看： http://hadoop102:50070/dfshealth.html#tab-datanode

    2）测试集群

    ① 在hadoop下创建wcinput/wc.input，在上传到HDFS上

        [atguigu@hadoop102 hadoop-2.7.2]$ hadoop fs -put wcinput/wc.input /user/atguigu/input

    ② 启动测试用例

        [atguigu@hadoop102 hadoop-2.7.2]$ hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount /user/atguigu/input /user/atguigu/output

    

    小于128M的文件上传之后只有一个block，大于128M的1.1倍的会有多个block

    [atguigu@hadoop102 hadoop-2.7.2]$ hadoop fs -put /opt/software/hadoop-2.7.2.tar.gz /user/atguigu

  

    3）HDFS上文件存放位置

    /opt/module/hadoop-2.7.2/data/tmp/dfs/data/current/BP-1935757359-192.168.137.102-1566011904417/current/finalized/subdir0/subdir0

    根据Block ID来识别block

    

    3）对HDFS上不同block数据进行拼接

    下面两个block是hadoop的安装包，对两个block进行合并

    -rw-rw-r--. 1 atguigu atguigu 134217728 8月  17 14:33 blk_1073741857

    -rw-rw-r--. 1 atguigu atguigu   1048583 8月  17 14:33 blk_1073741857_1033.meta

    -rw-rw-r--. 1 atguigu atguigu  63439959 8月  17 14:33 blk_1073741858

    -rw-rw-r--. 1 atguigu atguigu    495635 8月  17 14:33 blk_1073741858_1034.meta

        [atguigu@hadoop102 subdir0]$ cat blk_1073741836>>tmp.file

        [atguigu@hadoop102 subdir0]$ cat blk_1073741837>>tmp.file                       

        [atguigu@hadoop102 subdir0]$ tar -zxvf tmp.file   ==> 解压

    

    4）将HDFS上文件下载下来

    [atguigu@hadoop102 hadoop-2.7.2]$ bin/hadoop fs -get /user/atguigu/input/hadoop-2.7.2.tar.gz ./

10.Hadoop启动停止方式

1）各个服务组件逐一启动

    （1）分别启动hdfs组件 hadoop-daemon.sh  start|stop  namenode|datanode|secondarynamenode 

    （2）启动yarn yarn-daemon.sh  start|stop  resourcemanager|nodemanager 

2）各个模块分开启动（配置ssh是前提）常用 

    （1）整体启动/停止hdfs start-dfs.sh stop-dfs.sh 

    （2）整体启动/停止yarn start-yarn.sh stop-yarn.sh 

3）全部启动（不建议使用）

    start-all.sh 

    stop-all.sh

11.集群时间同步（必须在root用户下）

    时间同步的方式：找一个机器，作为时间服务器，所有的机器与这台集群时间进行定时的同步，比如，每隔十分钟，同步一次时间。

    [root@hadoop102 atguigu]# rpm -qa|grep ntp

    

    [root@hadoop102 atguigu]# vim /etc/ntp.conf

    

    [root@hadoop102 atguigu]# vim /etc/sysconfig/ntpd

    

    重新启动ntpd

    [root@hadoop102 atguigu]# service ntpd status

    ntpd 已停

    [root@hadoop102 atguigu]# service ntpd start

    正在启动 ntpd：                                            [确定]

    [root@hadoop102 atguigu]# chkconfig ntpd on

 

    其它机器配置（root用户下）

    [root@hadoop103 hadoop-2.7.2]# crontab -e

        编写脚本（每两分钟同步一次）

        */2 * * * * /usr/sbin/ntpdate hadoop102

    [root@hadoop104 hadoop-2.7.2]# crontab -e

        编写脚本（每两分钟同步一次）

        */2 * * * * /usr/sbin/ntpdate hadoop102

    修改任意机器时间

        [root@hadoop103 hadoop]# date -s "2017-9-11 11:11:11"

    两分钟之后使用date查看时间

 

蓦然_
关注
  • 0
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
部署全分布模式Hadoop集群 实验报告
04-18
部署全分布模式Hadoop集群 实验报告一、实验目的 1. 熟练掌握 Linux 基本命令。 2. 掌握静态 IP 地址的配置、主机名和域名映射的修改。 3. 掌握 Linux 环境下 Java 的安装、环境变量的配置、Java 基本命令的使用。 4. 理解为何需要配置 SSH 免密登录，掌握 Linux 环境下 SSH 的安装、免密登录的配置。 5. 熟练掌握在 Linux 环境下如何部署全分布模式 Hadoop 集群。 二、实验环境 本实验所需的软硬件环境包括 PC、VMware Workstation Pro、CentOS 安装包、Oracle JDK 安装包、Hadoop 安装包。 三、实验内容 1. 规划部署。 2. 准备机器。 3. 准备软件环境：配置静态 IP；修改主机名；编辑域名映射；安装和配置 Java；安装和 配置 SSH 免密登录。 4. 获取和安装 Hadoop。 5. 配置全分布模式 Hadoop 集群。 6. 关闭防火墙。 7. 格式化文件系统。 8. 启动和验证 Hadoop。 9. 关闭 Hadoop。
Hadoop完全分布式配置.txt
11-05
Hadoop的安装分为单机方式、伪分布式方式和完全分布式方式。 a. 单机模式是Hadoop的默认模式。当首次解压Hadoop的源码包时，Hadoop无法了解硬件安装环境，便保守地选择了最小配置。在这种默认模式下所有3个XML文件均为空。当配置文件为空时，Hadoop会完全运行在本地。因为不需要与其他节点交互，单机模式就不使用HDFS，也不加载任何Hadoop的守护进程。该模式主要用于开发调试MapReduce程序的应用逻辑。 b. 伪分布模式 Hadoop守护进程运行在本地机器上，模拟一个小规模的的集群。可以使用HDFS和MapReduce。 c. 完全分布模式 Hadoop守护进程运行在一个集群上。启动所有的守护进程，具有hadoop完整的功能，可以使用HDFS、MapReduce和Yarn，并且这些守护进程运行在集群中，可以真正的利用集群提供高性能，在生产环境下使用。 本文主要讲解Hadoop的完全分布式安装
Redis集群模式之分布式集群模式
热门推荐
Be yourself.
03-23 1万+
前言 Redis集群模式主要有2种: 主从集群 分布式集群。 前者主要是为了高可用或是读写分离，后者为了更好的存储数据，负载均衡。 本文主要讲解主从集群。本章主要讲解后一半部分，Redis集群。 与本文相关的代码与配置文件都已经上传至github上: 地址: https://github.com/SeanYanxml/bigdata 原理 Redis为了实现负载均衡，提...
架构设计基础：单服务.集群.分布式，基本区别和联系
【积累】，是一个长期持续的过程。
04-17 866
分布式和集群模式磨刀霍霍的根本原因，都是为了解决两个问题提高系统吞吐量和高可用性，只是两种模式站在的角度和业务场景不同，例如业务单调的高并发场景，业务复杂但不具备并发的场景，当然也有这两种业务场景同时具备的。补刀一句针对系统架构和选型，各大公司也确实没有统一的标准，但是都强调写代码的规范和逻辑，这样做的根本原因就是方便后续的系统架构更改。如何架构分布式系统，这说不好，但是如何判断分布式架构是否好，这很好说httpshttps。...
Hadoop集群搭建(详细步骤)—完全分布式运行模式
安歌Object
08-11 7752
分析： 1）准备3台客户机（关闭防火墙、静态ip、主机名称） 2）安装jdk 3）配置环境变量 4）安装hadoop 5）配置环境变量 6）配置集群 7）单点启动 8）配置ssh 9）群起并测试集群 一、虚拟机准备 详见： Hadoop运行环境搭建（含Linux网络配置和系统管理操作） https://blog.csdn.net/weixin_37838429/artic...
Redis集群模式
阿肯那顿的博客
03-19 9843
此文由多处转载，自行组织，水平有限，有错误，望大家指正。 现在越来越多的项目都会利用到redis，多实例redis服务比单实例要复杂的多，这里面涉及到定位、容错、扩容等技术问题。我们常用sharding技术来对此进行管理，其集群模式主要有以下几种方式： 主从复制 哨兵模式 Redis官方 Cluster集群模式（服务端sharding） Jedis sharding集群（客户端shardin...
分布式-集群模式-微服务
纸上得来终觉浅，绝知此事要躬行
02-13 2249
1.分布式 将一个大的系统划分为多个业务模块，业务模块分别部署到不同的机器上，各个业务模块之间通过接口进行数据交互。区别分布式的方式是根据不同机器不同业务。 注：分布式需要做好事务管理。 2.集群模式 集群模式是不同服务器部署同一套服务对外访问，实现服务的负载均衡。区别集群的方式是根据部署多台服务器业务是否相同。 注：集群模式需要做好session共享，确保在不同服务器切换的过程中不
Hadoop安装（二）---完全分布式模式（集群模式）
weixin_45944880的博客
11-17 1400
Hadoop安装（二）---完全分布式模式
云服务器搭建Hadoop集群—完全分布式模式(Fully-Distributed Mode)
一叶木禾夕
10-09 484
根据需要找到对应章节进行参考。
分布式环境下几种集群模式分析
superhanyubo的专栏
07-18 3211
随着互联网和分布式相关技术的发展，单节点已经很难提供当前软件运行的基本资源。集群成为主流的架构风格，所谓集群指的是原来有一个节点来完成的工作，现在有很多节点配合来共同完成，分散压力，同时也提高系统本身的可用性。集群模式下读操作具有幂等性，任何节点提供服务都没有问题，但是对于写操作，必须提供统一的操作入口，由该入口进行数据的分发，采用多数派理论达成共识。 本文结合博主的理解，整理出一下三种集群方案...
完全分布式模式的Hadoop集群安装
03-22
Linux操作系统下，使用三台虚拟机搭建Hadoop集群，包括实验环境变量的配置，Hadoop集群的安装及测试详细步骤。
搭建hadoop-完全分布式模式
01-07
文章目录搭建简单的Hadoop完全分布式模式分析首先设置集群规划虚拟机准备设置静态ip与主机名，设置用户为超级用户配置java环境hadoop安装配置集群配置core-site.xmlHDFS 配置文件YARN 配置文件MapReduce 配置文件这...
四 Hadoop运行模式之完全分布式运行模式
01-07
文章目录1.... 集群配置4.1 集群部署规划4.2 核心配置文件( core-site.xml )4.2.1 配置NameNode的地址4.3 env文件(hadoop-env.sh,yarn-env.sh,mapred-env.sh)4.4 HDFS配置文件(hdfs-site.xml)4.4.1 Ha
网络配置和系统管理操作（4）
qq_41544550的博客
10-25 1013
1、查看网络IP和网关 1）查看虚拟网络编辑器 2）修改IP地址 3）查看网关 2、配置网络IP地址（终端中进行） 1）ifconfig查看当前IP [root@hadoop102 /]# ifconfig 2）ping测试主机之间网络连通性（可做可不做） 基本语法： ping 目的主机 （功能描述：测试当前服务器是否可以连接目的主机） [root@hadoop...
JDK、Hadoop安装（8）
qq_41544550的博客
10-28 748
一、JDK安装 1、用SecureCRT的FX工具将jdk导入到opt目录下面的software文件夹下面 2、在linux系统下的opt目录中查看软件包是否导入成功 [atguigu@hadoop101 opt]$ cd software/ 3、解压jdk到/opt/module目录下 [atguigu@hadoop101 software]$ ...
SecureCRT中文乱码解决方法（6）
qq_41544550的博客
10-25 685
1、重新查看会话，是否中文显示正常 2、依然无法正常显示中文，可能是由于Linux系统中默认的字符编码非UTF8所致 用root用户登录。输入cat /etc/sysconfig/i18n 如果安装系统为中文系统，则修改【LANG=“zh_CN.UTF-8”】 如果安装系统为英文系统，则修改【LANG=“en_US.UTF-8”】 保存文件。断开SSH，重新登录。就正常了 下面是修改...
安装SecureCRT & SecureFX（Win7或Win10安装）（5）
qq_41544550的博客
10-25 585
安装SecureCRT & SecureFX 下载地址： 链接：https://pan.baidu.com/s/1xj0j2JJdQkKqpGTnUI--kQ 提取码：ywvg Win7下安装参考： 安装参考： https://jingyan.baidu.com/article/60ccbceb640a2064cab19702.html https://blog.csd...
安装VMWare（1）
qq_41544550的博客
10-25 523
VMWare下载地址： 链接：https://pan.baidu.com/s/1NX8sV_cUfCcsK-69bnAfeg 提取码：icv7 1、进入安装向导 2、接收许可协议 3、自定义安装 4、更改安装路径 5、启动时检查产品更新 6、用户体验改进计划 7、桌面创建快捷方式 ...
伪分布式配置完全分布式
最新发布
09-10
在完全分布式模式下，Hadoop的各个组件被分布在集群中的不同机器上，实现真正的分布式计算。这样可以提供更高的处理能力和可靠性，适用于处理大规模的数据任务。 要进行伪分布式或完全分布式配置，需要进行一系列的...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值