大数据之完全分布式配置--快速分发Hadoop

最新推荐文章于 2023-04-11 14:18:22 发布
最新推荐文章于 2023-04-11 14:18:22 发布
阅读量913 收藏 2
点赞数
分类专栏： hadoop技术【初学】
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_39868387/article/details/103142559
版权

上节完成了完全分布式配置–分发脚本

接下来我们需要做的就是

完全分布式配置–快速分发Hadoop

首先，我们需要把xsync文件拷贝到bin目录下
我们就可以hadoop目录下执行：所有用户都能执行xsync

[root@hadoop101 MissZhou]# sudo cp xsync /bin/
[root@hadoop101 MissZhou]# 

[root@hadoop101 hadoop-2.7.2]# xsync
no args...
[root@hadoop101 hadoop-2.7.2]#

接着，我们需要把它发送给hadoop100
使用rsync -av

[root@hadoop101 hadoop-2.7.2]# rsync -av /bin/xsync hadoop100:/bin/
root@hadoop100's password: 
sending incremental file list
xsync

sent 590 bytes  received 35 bytes  178.57 bytes/sec
total size is 499  speedup is 0.80
[root@hadoop101 hadoop-2.7.2]#

当发送成功后，hadoop100也可以执行

[root@hadoop100 hadoop]# xsync
no args...
[root@hadoop100 hadoop]#

接下，由于我们现在搭建的完全分布式，所以在以往的伪分布式需要改变一下：
首先，我们先进入hadoop配置文件：core-site.xml
在这里插入图片描述

[root@hadoop100 hadoop]# rm -rf /opt/hadoop/module/hadoop-2.7.2/tmp/
[root@hadoop100 hadoop]#

可以在hadoop安装目录下查看是否含有tmp文件，若没有就不是已经删除了，如执行查询：

[root@hadoop100 hadoop-2.7.2]# ls
bin  data  etc  include  input  lib  libexec  LICENSE.txt  logs  NOTICE.txt  output  README.txt  sbin  share  wcinput  wc.input  wcountput  workcount
[root@hadoop100 hadoop-2.7.2]#

接下来，需要配置： hdfs-site.xml

<!-- 指定HDFS副本的数量 -->
<property>
        <name>dfs.replication</name>
        <value>3</value>
</property>

<!-- 指定Hadoop辅助名称节点主机配置 -->
<property>
      <name>dfs.namenode.secondary.http-address</name>
      <value>hadoop102:50090</value>
</property>

接着，配置：yarn-site.xml

<!-- Site specific YARN configuration properties -->

<!-- Reducer获取数据的方式 -->
<property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
</property>

<!-- 指定YARN的ResourceManager的地址 -->
<property>
        <name>yarn.resourcemanager.hostname</name>
        <value>hadoop101</value>
</property>

修改：mapred-site.xml

<!-- 指定MR运行在YARN上 -->
<property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
</property>

最后，修改 slaves

192.168.219.9  hadoop103
192.168.219.8  hadoop102
192.168.219.7  hadoop101

接着，在/etc/hosts配置：

192.168.219.7 hadoop100
192.168.219.9 hadoop102
192.168.219.8 hadoop101

接下来，操作免密登陆（没有免密登陆就是启动不了）
参照：hadoop集群的免密登陆设置

修改slave文件


192.168.219.9  hadoop103
192.168.219.8  hadoop102
192.168.219.7  hadoop101

将所有的配置文件拷贝到另一台机器（Hadoop101）上
scp -r /opt/hadoop/module/hadoop-2.7.2/etc/hadoop/* root@hadoop101:/opt/hadoop/module/hadoop-2.7.2/etc/hadoop

[root@hadoop100 hadoop]# scp -r /opt/hadoop/module/hadoop-2.7.2/etc/hadoop/* root@hadoop101:/opt/hadoop/module/hadoop-2.7.2/etc/hadoop
capacity-scheduler.xml                                                                                                                   100% 4436   802.9KB/s   00:00    
configuration.xsl                                                                                                                        100% 1335   334.0KB/s   00:00    
container-executor.cfg                                                                                                                   100%  318    82.5KB/s   00:00    
core-site.xml                                                                                                                            100% 1068   391.3KB/s   00:00    
hadoop-env.cmd                                                                                                                           100% 3670     1.3MB/s   00:00    
hadoop-env.sh                                                                                                                            100% 4245     1.0MB/s   00:00    
hadoop-metrics2.properties                                                                                                               100% 2598   477.3KB/s   00:00    
hadoop-metrics.properties                                                                                                                100% 2490   646.1KB/s   00:00    
hadoop-policy.xml                                                                                                                        100% 9683     1.1MB/s   00:00    
hdfs-site.xml                                                                                                                            100% 1171   585.9KB/s   00:00    
httpfs-env.sh                                                                                                                            100% 1449   600.1KB/s   00:00    
httpfs-log4j.properties                                                                                                                  100% 1657   512.7KB/s   00:00    
httpfs-signature.secret                                                                                                                  100%   21     4.6KB/s   00:00    
httpfs-site.xml                                                                                                                          100%  620   180.4KB/s   00:00    
kms-acls.xml                                                                                                                             100% 3518   524.0KB/s   00:00    
kms-env.sh                                                                                                                               100% 1527   955.2KB/s   00:00    
kms-log4j.properties                                                                                                                     100% 1631   404.6KB/s   00:00    
kms-site.xml                                                                                                                             100% 5511     1.1MB/s   00:00    
log4j.properties                                                                                                                         100%   11KB   2.8MB/s   00:00    
mapred-env.cmd                                                                                                                           100%  951   194.2KB/s   00:00    
mapred-env.sh                                                                                                                            100% 1389   206.5KB/s   00:00    
mapred-queues.xml.template                                                                                                               100% 4113     1.4MB/s   00:00    
mapred-site.xml                                                                                                                          100% 1111   544.7KB/s   00:00    
mapred-site.xml.template                                                                                                                 100%  758   215.6KB/s   00:00    
slaves                                                                                                                                   100%   32    15.3KB/s   00:00    
ssl-client.xml.example                                                                                                                   100% 2316   464.8KB/s   00:00    
ssl-server.xml.example                                                                                                                   100% 2268   892.5KB/s   00:00    
yarn-env.cmd                                                                                                                             100% 2250   795.4KB/s   00:00    
yarn-env.sh                                                                                                                              100% 4573   734.4KB/s   00:00    
yarn-site.xml                                                                                                                            100%  833   217.6KB/s   00:00    
[root@hadoop100 hadoop]#

接下来，就是重新格式化：
注意：
在一个hadoop集群内，仅需要执行一次，否着会发生不可预知的问题，极可能导致集群数据的丢失

[root@hadoop100 hadoop]# hadoop namenode -format

最后，启动集群

[root@hadoop100 hadoop-2.7.2]# sbin/start-dfs.sh
Starting namenodes on [hadoop100]
hadoop100: starting namenode, logging to /opt/hadoop/module/hadoop-2.7.2/logs/hadoop-root-namenode-hadoop100.out
hadoop103: ssh: Could not resolve hostname hadoop103: Name or service not known
hadoop101: starting datanode, logging to /opt/hadoop/module/hadoop-2.7.2/logs/hadoop-root-datanode-hadoop101.out
hadoop102: starting datanode, logging to /opt/hadoop/module/hadoop-2.7.2/logs/hadoop-root-datanode-hadoop102.out
Starting secondary namenodes [0.0.0.0]
0.0.0.0: starting secondarynamenode, logging to /opt/hadoop/module/hadoop-2.7.2/logs/hadoop-root-secondarynamenode-hadoop100.out

[root@hadoop100 hadoop-2.7.2]#  netstat -tpnl | grep java 
tcp        0      0 192.168.219.7:9000      0.0.0.0:*               LISTEN      10398/java          
tcp        0      0 0.0.0.0:50090           0.0.0.0:*               LISTEN      8553/java           
tcp        0      0 127.0.0.1:46549         0.0.0.0:*               LISTEN      10532/java          
tcp        0      0 0.0.0.0:50070           0.0.0.0:*               LISTEN      10398/java          
tcp        0      0 0.0.0.0:50010           0.0.0.0:*               LISTEN      10532/java          
tcp        0      0 0.0.0.0:50075           0.0.0.0:*               LISTEN      10532/java          
tcp        0      0 0.0.0.0:50020           0.0.0.0:*               LISTEN      10532/java          
[root@hadoop100 hadoop-2.7.2]# 

[root@hadoop100 hadoop-2.7.2]# systemctl stop firewalld.service 
[root@hadoop100 hadoop-2.7.2]#

访问：虚拟机+50070
在这里插入图片描述

没有8088的监听，就无法访问8088，
分析原因，ResourceManager进程没有启动

解决方法
修改配置文件—yarn-site.xml

<!-- Site specific YARN configuration properties -->

<!-- Reducer获取数据的方式 -->
<property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
</property>

<!-- 指定YARN的ResourceManager的地址 -->
<property>
        <name>yarn.resourcemanager.hostname</name>
        <value>hadoop101</value>
</property>

 <property>
<name>yarn.resourcemanager.address</name>
<value>192.168.219.7:8032</value>
</property>

<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>192.168.219.7:8030</value>
</property>

<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>192.168.219.7:8031</value>
</property>

<property>
<name>yarn.resourcemanager.admin.address</name>
<value>192.168.219.7:8033</value>
</property>

<property>
<name>yarn.resourcemanager.webapp.address</name>
<value>192.168.219.7:8088</value>
</property>

重新启动：start-yarn.sh

[root@hadoop100 hadoop-2.7.2]# start-yarn.sh
starting yarn daemons
starting resourcemanager, logging to /opt/hadoop/module/hadoop-2.7.2/logs/yarn-root-resourcemanager-hadoop100.out
hadoop103: ssh: Could not resolve hostname hadoop103: Name or service not known
192.168.219.8: starting nodemanager, logging to /opt/hadoop/module/hadoop-2.7.2/logs/yarn-root-nodemanager-hadoop101.out
hadoop101: nodemanager running as process 11044. Stop it first.
hadoop102: mv: cannot stat ‘/opt/hadoop/module/hadoop-2.7.2/logs/yarn-root-nodemanager-hadoop102.out.4’: No such file or directory
hadoop102: mv: cannot stat ‘/opt/hadoop/module/hadoop-2.7.2/logs/yarn-root-nodemanager-hadoop102.out.3’: No such file or directory
hadoop102: mv: cannot stat ‘/opt/hadoop/module/hadoop-2.7.2/logs/yarn-root-nodemanager-hadoop102.out.2’: No such file or directory
hadoop102: mv: cannot stat ‘/opt/hadoop/module/hadoop-2.7.2/logs/yarn-root-nodemanager-hadoop102.out.1’: No such file or directory
192.168.219.9: starting nodemanager, logging to /opt/hadoop/module/hadoop-2.7.2/logs/yarn-root-nodemanager-hadoop102.out
hadoop102: starting nodemanager, logging to /opt/hadoop/module/hadoop-2.7.2/logs/yarn-root-nodemanager-hadoop102.out
hadoop102: mv: cannot stat ‘/opt/hadoop/module/hadoop-2.7.2/logs/yarn-root-nodemanager-hadoop102.out’: No such file or directory
192.168.219.7: starting nodemanager, logging to /opt/hadoop/module/hadoop-2.7.2/logs/yarn-root-nodemanager-hadoop100.out
hadoop102: ulimit -a
hadoop102: core file size          (blocks, -c) 0
hadoop102: data seg size           (kbytes, -d) unlimited
hadoop102: scheduling priority             (-e) 0
hadoop102: file size               (blocks, -f) unlimited
hadoop102: pending signals                 (-i) 3795
hadoop102: max locked memory       (kbytes, -l) 64
hadoop102: max memory size         (kbytes, -m) unlimited
hadoop102: open files                      (-n) 1024
hadoop102: pipe size            (512 bytes, -p) 8

监听端口：netstat -tpnl | grep java

tcp        0      0 192.168.219.7:9000      0.0.0.0:*               LISTEN      7629/java           
tcp        0      0 0.0.0.0:50070           0.0.0.0:*               LISTEN      7629/java           
tcp        0      0 0.0.0.0:50010           0.0.0.0:*               LISTEN      7765/java           
tcp        0      0 0.0.0.0:50075           0.0.0.0:*               LISTEN      7765/java           
tcp        0      0 127.0.0.1:35293         0.0.0.0:*               LISTEN      7765/java           
tcp        0      0 0.0.0.0:50020           0.0.0.0:*               LISTEN      7765/java           
tcp6       0      0 :::8040                 :::*                    LISTEN      8488/java           
tcp6       0      0 :::8042                 :::*                    LISTEN      8488/java           
tcp6       0      0 192.168.219.7:8088      :::*                    LISTEN      8373/java           
tcp6       0      0 :::13562                :::*                    LISTEN      8488/java           
tcp6       0      0 192.168.219.7:8030      :::*                    LISTEN      8373/java           
tcp6       0      0 192.168.219.7:8031      :::*                    LISTEN      8373/java           
tcp6       0      0 192.168.219.7:8032      :::*                    LISTEN      8373/java           
tcp6       0      0 192.168.219.7:8033      :::*                    LISTEN      8373/java           
tcp6       0      0 :::46564                :::*                    LISTEN      8488/java

访问8088
在这里插入图片描述
做集群分发

[root@hadoop100 hadoop]# scp -r /opt/hadoop/module/hadoop-2.7.2/etc/hadoop/* root@hadoop101:/opt/hadoop/module/hadoop-2.7.2/etc/hadoop/

[root@hadoop100 hadoop]# scp -r /opt/hadoop/module/hadoop-2.7.2/etc/hadoop/* root@hadoop102:/opt/hadoop/module/hadoop-2.7.2/etc/hadoop/

再次启动

[root@hadoop100 hadoop-2.7.2]# start-all.sh
This script is Deprecated. Instead use start-dfs.sh and start-yarn.sh
Starting namenodes on [hadoop100]
..........................

监听端口：netstat -tpnl | grep java

[root@hadoop100 hadoop-2.7.2]# netstat -tpnl | grep java
tcp        0      0 192.168.219.7:9000      0.0.0.0:*               LISTEN      7629/java           
tcp        0      0 0.0.0.0:50070           0.0.0.0:*               LISTEN      7629/java           
tcp        0      0 0.0.0.0:50010           0.0.0.0:*               LISTEN      7765/java           
tcp        0      0 0.0.0.0:50075           0.0.0.0:*               LISTEN      7765/java           
tcp        0      0 127.0.0.1:35293         0.0.0.0:*               LISTEN      7765/java           
tcp        0      0 0.0.0.0:50020           0.0.0.0:*               LISTEN      7765/java           
tcp6       0      0 :::8040                 :::*                    LISTEN      8488/java           
tcp6       0      0 :::8042                 :::*                    LISTEN      8488/java           
tcp6       0      0 192.168.219.7:8088      :::*                    LISTEN      8373/java           
tcp6       0      0 :::13562                :::*                    LISTEN      8488/java           
tcp6       0      0 192.168.219.7:8030      :::*                    LISTEN      8373/java           
tcp6       0      0 192.168.219.7:8031      :::*                    LISTEN      8373/java           
tcp6       0      0 192.168.219.7:8032      :::*                    LISTEN      8373/java           
tcp6       0      0 192.168.219.7:8033      :::*                    LISTEN      8373/java           
tcp6       0      0 :::46564                :::*                    LISTEN      8488/java

访问
在这里插入图片描述

江湖侠客
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
hadoop分布式集群部署步骤总结
JimGray的博客
04-25 1万+
一、理论基础( 一) 　HA 概念以及作用 　　HA(High Available), 高可用性群集，是保证业务连续性的有效解决方案，一般有两个或两个以上的节点，且分为活动节点及备用节点。通常把正在执行业务的称为活动节点，而作为活动节点的一个备份的则称为备用节点。当活动节点出现问题，导致正在运行的业务（任务）不能正常运行时，备用节点此时就会侦测到，并立即接续活动节点来执行业务。从而实现业务的不中断
hadoop-2.8.1完全分布式搭建脚本和配置文件
08-24
这个压缩包文件"hadop-2.8.1完全分布式搭建脚本和配置文件"提供了在集群环境中搭建Hadoop 2.8.1版本的详细步骤，特别强调了高可用性和自动化配置。 1. **Hadoop 2.8.1**：这是Hadoop的一个稳定版本，它包含了对HDFS...
Hadoop完全分布式配置
weixin_30836759的博客
11-29 128
环境：CentOs5、hadoop0.20.203、jdk1.6.0_29 namenode:centos1(ip:192.168.1.101) datanode:centos2(ip:192.168.1.103)、centos3(ip:192.168.1.104) 配置步骤： （1）配置NameNode和DataNode 修改每台机器的/etc/hosts(包括namenode和dat...
hadoop配置_Hadoop完全分布式配置—分发脚本
weixin_39952502的博客
11-24 184
在完成一台虚拟机的java和hadoop安装后，我们开始要同时部署好其他几台虚拟机。但是一个一个装的话，就非常低效了。所以我们要通过脚本来完成。目前，Hadoop100已经装完了jdk和hadoop。其他3台虚拟机完成了网络配置，我们可以通过分发脚本，来为它们安装jdk和hadoop。两种拷贝方式SCP 安全拷贝scp可以实现服务器与服务器之间的数据拷贝。基本语法scp -r ...
hadoop的job分发机制
齐梦星空
10-19 579
hadoop的jar包主程序运行到job.waitForCompletion(true); 向resourcemanger申请一个job任务 resourcemanger返回job相关资源的路径（staging-dir，位于hdfs的temp中，存）和jobid给主程序 主程序将资源（jar包等）提交到staging-dir，然后向resourcemanger汇报提交成功 resourceman...
大数据||hadoop分布式部署分发、基本测试及监控
weixin_34205826的博客
02-22 80
先看文章大数据||hadoop分布式集群安装 分发包括：通过主节点给子节点分发数据。免密形式 基本测试包括：创建目录，上传文件、读取文件等 HDFS namenode节点格式化（131） 命令bin/hdfs namenode -format 说明：只有第一次部署的格式化。后面不要格式化要不data...
Hadoop完全分布式 大数据 入门 学习
03-09
总之，Hadoop完全分布式环境的搭建涉及到网络配置、JDK安装、Hadoop配置文件的修改、服务启动以及验证。这个过程有助于理解Hadoop的工作原理，是大数据学习者必备的技能之一。通过实践，不仅可以掌握Hadoop的部署，...
Hadoop3.3.1+centos7 2009 完全分布式最新版配置教程
03-20
Hadoop3.3.1+CentOS7完全分布式最新版配置教程 本文档旨在指导读者完成Hadoop3.3.1在CentOS7上的完全分布式配置。该配置教程涵盖了环境准备、Hadoop安装和配置、集群配置、YARN和MapReduce配置、HDFS配置、NameNode...
hadoop 完全分布式搭建
08-07
Hadoop 完全分布式搭建是指在多台服务器上部署 Hadoop，形成一个分布式集群，以便更好地处理大数据。 知识点1：Hadoop 集群架构 在 Hadoop 集群中，主要有三种节点：NameNode、DataNode 和 Secondary NameNode。...
Apache Hadoop---Spark.docx
06-12
Spark可以运行在Hadoop的YARN或Mesos资源管理框架之上，也可以独立部署。虽然Spark没有自己的分布式文件系统，但它与HDFS高度兼容，可以方便地读写HDFS上的数据。在处理大数据时，相比于Hadoop MapReduce，Spark的...
Apache Hadoop 完全分布式集群搭建-分发配置（三）
fengzige1993的博客
10-03 159
分发配置 编写集群分发脚本rsync-script rsync 远程同步工具 rsync主要用于备份和镜像。具有速度快、避免复制相同内容和支持符号链接的优点。 rsync和scp区别：用rsync做文件的复制要比scp的速度快，rsync只对差异文件做更新。scp是把所有文 件都复制过去。 基本语法 命令 选项参数 要拷贝的文件路径/名称 目的用户@主机:目的路径/名称 2. 选项参数说明 rsync -rvl pdir/pdir/pdir/fname user@us.
hadoop文件分发脚本
最新发布
qq_63327622的博客
04-11 107
【代码】hadoop文件分发脚本。
hadoop--集群分发脚本
weixin_46361294的博客
02-28 1457
第一次进行拷贝用scp命令，第二次用要更改用xsync命令。 scp 定义：实现服务器与服务器之间的数据拷贝。 基本语法：命令 -递归 要拷贝的文件路径/名称 目的地用户@主机:目的地路径/名称；例如scp -r $pdir/$fname $user@$host:$pdir/$fname 实例： 在hadoop102，hadoop103，hadoop104都创建好了/opt/module和/opt/software两个目录，将这两个目录修改为amelia:amelia； 命令sudo chown .
Hadoop的分发脚本编写
qq_29860591的博客
01-14 283
手上有4台阿里云，正好可以搭建集群，就要把刚刚配置的单节点的数据拷贝过去。 编写集群分发脚本xsync 1. scp（secure copy）安全拷贝 （1）scp定义： scp可以实现服务器与服务器之间的数据拷贝。（from server1 to server2） （2）基本语法 Linux scp 命令用于 Linux 之间复制文件和目录。 scp 是 secure copy...
完全分布式配置--分发脚本
weixin_39868387的博客
11-19 253
1、编写集群分发脚本xsync scp定义： scp可以实现服务器与服务器之间的数据拷贝 基本语法 scp ：命令 -r ：递归 pdir/pdir/pdir/fname： 要拷贝的文件路径/名称 user@hadoopuser@hadoopuser@hadoophost:pdir/pdir/pdir/fname：目的用户@主机:目的路径/名称 案例实操 （1）将hadoop101中/opt/h...
数据采集存储分发完整流程测试
weixin_30536513的博客
02-01 441
ReadWrite.java package main.java; import java.io.*; public class ReadWrite { static String readFileName; static String writeFileName; public static void main(...
浅谈hadoop中mapreduce的文件分发
Thinking
04-07 1386
http://www.it165.net/pro/html/201405/14740.html 最近在做数据分析的时候，需要在mapreduce中调用c语言写的接口，此时就需要把动态链接库so文件分发到hadoop的各个节点上，原来想自己来做这个分发，大概过程就是把so文件放在hdfs上面，然后做mapreduce的时候把so文件从hdfs下载到本地，
Hadoop（五）—— 集群配置
qq_44886213的博客
11-21 1496
一、集群配置 1.集群部署规划 注意： （1）NameNode和SecondaryNameNode不要安装在同一台服务器（消耗内存） （2）ResourceManager也很消耗内存，不要和NameNode、SecondaryNameNode配置在同一台机器上。 如果内存很牛忽略上面两条 部署： NameNode在102上，ResourceManager在103上，SecondaryNameNode在104上 2.根据上述部署要求更改配置文件 core-site.xml、hdfs-site.xml、yar
【Hadoop】大数据时代，我们为什么使用hadoop
weixin_30654583的博客
11-04 673
博客已转移，请借一步说话。http://www.daniubiji.cn/archives/538 我们先来看看大数据时代， 什么叫大数据，“大”，说的并不仅是数据的“多”！不能用数据到了多少TB ，多少PB来说。 对于大数据，可以用四个词来表示：大量，多样，实时，不确定。 也就是数据的量庞大，数据的种类繁杂多样话，数据的变化飞快，数据的真假存疑。 大量：这个大家都知道，想百...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值