完全分布式部署 Hadoop

最新推荐文章于 2023-10-11 10:10:18 发布
最新推荐文章于 2023-10-11 10:10:18 发布
阅读量557 收藏
点赞数
分类专栏： 大数据 文章标签： hadoop 分布式
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_35641192/article/details/80212676
版权

分析：
1） 准备 3 台客户机（关闭防火墙、 静态 ip、主机名称）
2） 安装 jdk
3） 配置环境变量
4） 安装 hadoop
5） 配置环境变量
6） 安装 ssh
7） 配置集群
8） 启动测试集群

1 虚拟机准备

复制3份备份的hadoop101，然后将其加入到vmware中
如果之前没添加用户则可以

#切换到root
adduser joker
passwd joker

2 主机名设置
https://blog.csdn.net/qq_35641192/article/details/80173625

3 scp

scp 可以实现服务器与服务器之间的数据拷贝。
1） 将 hadoop101 中/opt/module 和/opt/software 文件拷贝到 hadoop102、 hadoop103 和 hadoop104 上。

scp -r /opt/module/ root@hadoop102:/opt
scp -r /opt/module/ root@hadoop103:/opt
scp -r /opt/module/ root@hadoop104:/opt
#下面的命令要在root用户下完成
chown joker:joker -R software/ module/

2） 将 hadoop101 服务器上的/etc/profile 文件拷贝到 hadoop102 、 hadoop103 和 hadoop104 上。

scp /etc/profile root@hadoop102:/etc/profile
scp /etc/profile root@hadoop103:/etc/profile
scp /etc/profile root@hadoop104:/etc/profile

source /etc/profile

3） 实现两台远程机器之间的文件传输（hadoop103 主机文件拷贝到 hadoop104 主机上）

scp root@hadoop103:/opt/test/haha root@hadoop104:/opt/test/

4 SSH 无密码登录

1 配置 ssh：
1） 基本语法
ssh 另一台电脑的 ip 地址
2） ssh 连接时出现 Host key verification failed 的解决方法

ssh 192.168.25.103
#输入密码即可登录
exit #退出登录

The authenticity of host ‘192.168.1.103 (192.168.1.103)’ can’t be established.
RSA key fingerprint is cf:1e:de:d7:d0:4c:2d:98:60:b4:fd:ae:b1:2d:ad:06.
Are you sure you want to continue connecting (yes/no)?
Host key verification failed.
3） 解决方案如下：直接输入 yes

2 无密钥配置：
1）进入到我的 home 目录

cd ~
ls -al
cd .ssh/
#如果无.ssh目录则只要ssh远程访问一台服务器则可以生成了

2） 生成公钥和私钥：

ssh-keygen -t rsa

然后敲（三个回车），就会生成两个文件 id_rsa（私钥）、id_rsa.pub（公钥）
3）将公钥拷贝到要免密登录的目标机器上

ssh-copy-id hadoop103
ssh-copy-id hadoop104
#最后也要给自己保存一份
ssh-copy-id hadoop102

3 .ssh 文件夹下的文件功能解释：
1） ~/.ssh/known_hosts ： 记录 ssh 访问过计算机的公钥(public key)
2） id_rsa ： 生成的私钥
3） id_rsa.pub ： 生成的公钥
4） authorized_keys ：存放授权过得无秘登录服务器公钥

5 rsync

rsync 远程同步工具，主要用于备份和镜像。具有速度快、 避免复制相同内容和支持符号链接的优点。
rsync 和 scp 区别： 用 rsync 做文件的复制要比 scp 的速度快， rsync 只对差异文件做更新。 scp 是把所有文件都复制过去。

1 基本语法

rsync -rvl $pdir/$fname $user@hadoop$host:$pdir

命令 命令参数 要拷贝的文件路径/名称 目的用户@主机:目的路径
选项
-r 递归
-v 显示复制过程
-l 拷贝符号连接
2 案例实操
把本机/opt/tmp 目录同步到 hadoop103 服务器的 root 用户下的/opt/tmp 目录

rsync -rvl /opt/tmp root@hadoop103:/opt/

6 编写集群分发脚本 xsync

1 需求分析：循环复制文件到所有节点的相同目录下。
1）原始拷贝：
rsync -rvl /opt/module root@hadoop103:/opt/
2）期望脚本：
xsync 要同步的文件名称
3）在/usr/local/bin 这个目录下存放的脚本，可以在系统任何地方直接执行。
2 案例实操：
1）在/usr/local/bin 目录下创建 xsync 文件， 文件内容如下：

cd /usr/local/bin
touch xsync
chmod 777 xsync 
chown joker:joker xsync 
vim xsync

#!/bin/bash
#1 获取输入参数个数， 如果没有参数，直接退出
pcount=$#
if((pcount==0)); then
echo no args;
exit;
fi
#2 获取文件名称
p1=$1
fname=`basename $p1`
echo fname=$fname
#3 获取上级目录到绝对路径
pdir=`cd -P $(dirname $p1); pwd`
echo pdir=$pdir
#4 获取当前用户名称
user=`whoami`
#5 循环
for((host=103; host<105; host++)); do
#echo $pdir/$fname $user@hadoop$host:$pdir
echo --------------- hadoop$host ----------------
rsync -rvl $pdir/$fname $user@hadoop$host:$pdir
done

7 配置集群

1 集群部署规划
这里写图片描述

2 配置文件
102:

cd /opt/module/hadoop-2.7.2/etc/hadoop/
vim core-site.xml
<configuration>
<!-- 指定 HDFS 中 NameNode 的地址 -->
<property>
        <name>fs.defaultFS</name>
        <value>hdfs://hadoop102:9000</value>
</property>
<!-- 指定 hadoop 运行时产生文件的存储目录 -->
<property>
        <name>hadoop.tmp.dir</name>
        <value>/opt/module/hadoop-2.7.2/data/tmp</value>
</property>

echo $JAVA_HOME
vim hadoop-env.sh 
export JAVA_HOME=/opt/module/jdk1.8.0_151

vim hdfs-site.xml 
<!-- 指定 HDFS 副本的数量 -->
<property>
        <name>dfs.replication</name>
        <value>3</value>
</property>
<property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>hadoop104:50090</value>
</property>

vim slaves 
hadoop102
hadoop103
hadoop104

vim yarn-site.xml 
<!-- reducer 获取数据的方式 -->
<property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
</property>
<!-- 指定 YARN 的 ResourceManager 的地址 -->
<property>
        <name>yarn.resourcemanager.hostname</name>
        <value>hadoop103</value>
</property>

vim mapred-site.xml 
<!-- 指定 mr 运行在 yarn 上 -->
<property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
</property>

3 在集群上分发以上所有文件

cd /opt/module/hadoop-2.7.2/etc/
xsync hadoop/

4 查看文件分发情况
103,104:cat /opt/module/hadoop-2.7.2/etc/hadoop/slaves

8 集群启动及测试

1 先删除克隆来的data/和log/

cd /opt/module/hadoop-2.7.2/
rm -rf data/ logs/

2 如果集群是第一次启动，需要格式化 namenode

#102上执行
bin/hdfs namenode -format

3 启动 HDFS与启动 yarn：

#102上执行
sbin/start-dfs.sh
#可以通过jps查看是否正确启动
#103上执行
sbin/start-yarn.sh

注意： Namenode 和 ResourceManger 如果不是同一台机器，不能在 NameNode 上启动 yarn，应该在 ResouceManager 所在的机器上启动 yarn。

4 集群基本测试
1） 上传文件到集群

#102上执行
#上传小文件
hadoop fs -mkdir -p /user/joker/input
hadoop fs -put wcinput/wc.input /user/joker/input
#上传大文件
hadoop fs -put /opt/software/jdk-8u151-linux-x64.tar.gz /user/joker

2） 上传文件后查看文件存放在什么位置

#102上执行
#文件存储路径
cd /opt/module/hadoop-2.7.2/data/tmp/dfs/data/current/BP-688790930-192.168.25.102-1525647195991/current/finalized/subdir0/subdir0

#查看文件内容
[root@hadoop102 subdir0]# cat blk_1073741825
jokerda
hadoop
hadoop jokerda
spark hive hbase
zookeeper kalfka

#删除大文件
hadoop fs -rm -f /user/joker/jdk-8u151-linux-x64.tar.gz

ps：102上上传了103，104也会产生同样的副本文件

9 Hadoop 启动停止方式
1 各个服务组件逐一启动
1）分别启动 hdfs 组件
hadoop-daemon.sh start|stop namenode|datanode|secondarynamenode
2）启动 yarn
yarn-daemon.sh start|stop resourcemanager|nodemanager

2 各个模块分开启动（配置 ssh 是前提） 常用
1）整体启动/停止 hdfs
start-dfs.sh
stop-dfs.sh
2）整体启动/停止 yarn
start-yarn.sh
stop-yarn.sh

3 全部启动（不建议使用）
start-all.sh
stop-all.sh

10 集群时间同步
时间同步的方式： 找一个机器，作为时间服务器，所有的机器与这台集群时间进行定时的同步，比如，每隔十分钟，同步一次时间。
1 时间服务器配置（必须 root 用户）
1）检查 ntp 是否安装

[root@hadoop102 桌面]# rpm -qa|grep ntp
ntp-4.2.6p5-10.el6.centos.x86_64
fontpackages-filesystem-1.41-1.1.el6.noarch
ntpdate-4.2.6p5-10.el6.centos.x86_64

2） 修改 ntp 配置文件

[root@hadoop102 桌面]# vim /etc/ntp.conf
#修改内容如下
#修改 1
#restrict 192.168.1.0 mask 255.255.255.0 nomodify notrap 为
restrict 192.168.25.0 mask 255.255.255.0 nomodify notrap
#修改 2
server 0.centos.pool.ntp.org iburst
server 1.centos.pool.ntp.org iburst
server 2.centos.pool.ntp.org iburst
server 3.centos.pool.ntp.org iburst 为
#server 0.centos.pool.ntp.org iburst
#server 1.centos.pool.ntp.org iburst
#server 2.centos.pool.ntp.org iburst
#server 3.centos.pool.ntp.org iburst
#添加 3
server 127.127.1.0
fudge 127.127.1.0 stratum 10

3）修改/etc/sysconfig/ntpd 文件

[root@hadoop102 桌面]# vim /etc/sysconfig/ntpd
#增加内容如下
SYNC_HWCLOCK=yes

4） 重新启动 ntpd

[root@hadoop102 桌面]# service ntpd status
ntpd 已停
[root@hadoop102 桌面]# service ntpd start
正在启动 ntpd：                                            [确定]
[root@hadoop102 桌面]# service ntpd status
ntpd (pid  2997) 正在运行...

5）执行

chkconfig ntpd on

2 其他机器配置（必须 root 用户）
1）在其他机器配置 10 分钟与时间服务器同步一次

#103,104输入如下内容
[root@hadoop103 hadoop]# crontab -e
#编写脚本
*/10 * * * * /usr/sbin/ntpdate hadoop102

2） 修改任意机器时间

[root@hadoop103 hadoop]# date -s "2017-9-11 11:11:11"

3） 十分钟后查看机器是否与时间服务器同步

[root@hadoop103 hadoop]# date
JokerDa
关注
专栏目录
Hadoop完全分布式部署
需要远程指导仿真实验、代码有问题的，请后台私信或者关注公众号
06-25 2961
要想深入的学习hadoop数据分析技术，首要的任务是必须要将hadoop集群环境搭建起来，可以将hadoop简化地想象成一个小软件，通过在各个物理节点上安装这个小软件，然后将其运行起来，就是一个hadoop分布式集群了。(1）学会hadoop完全分布式配置 (2）理解完全分布式配置的配置文件本次环境是：Ubuntu16.04 + jdk1.8.0_73+hadoop-2.7.3Hadoop 集群的安装配置大致为如下流程:   选定一台机器作为 master，在 master 节点上安装 Hadoop，配置网
【hadoop】完全分布式部署
weixin_59765716的博客
12-09 173
集群配置： 注意：NameNode和SecondaryNameNode不要安装在同一台服务器 （2NN备份元数据的，如果放在一台机器上，机器宕机元数据就拿不到） 注意：ResourceManager也很消耗内存，不要和NameNode、SecondaryNameNode配置在同一台机器上。 核心配置文件 配置：hadoop-env.sh（在/opt/module/hadoop-3.1.3/etc/hadoop目录下） Linux系统中获取JDK的安装路径： [soft863@ hadoo
Hadoop运行模式之完全分布式运行模式
ITBOY_ITBOX博客
05-02 258
分析： 1）准备3台客户机（关闭防火墙、静态ip、主机名称） 2）安装JDK 3）配置环境变量 4）安装Hadoop 5）配置环境变量 以上5步骤请参看https://blog.csdn.net/m0_37294838/article/details/89989300 6）配置集群 ...
Could not connect to ‘hadoop102‘ (port 22): Connection failed解决办法-笔记
qq_44798206的博客
08-13 1011
Could not connect to ‘hadoop102‘ (port 22): Connection failed解决办法-笔记
Hadoop集群启动及部署（内含xsync同步工具）
最新发布
star_Jlulu的博客
10-11 157
从字面意思上，rsync 可以理解为 remote sync（远程同步），但它不仅可以远程同步数据（类似于 scp 命令），还可以本地同步数据（类似于 cp 命令）。不同于 cp 或 scp 的一点是，使用 rsync 命令备份数据时，不会直接覆盖以前的数据（如果数据已经存在），而是先判断已经存在的数据和新数据的差异，只有数据不同时才会把不相同的部分覆盖。若目的路径后没有跟新名称，则会把文件复制到目的路径下，否则会把文件复制到目标路径下并重命名为新名称。-r为递归，复制文件时不需要，复制文件夹时需要。
Hadoop集群搭建--创建分发脚本xsync
程志伟的博客
07-15 1283
2.在hadoop103上，将hadoop102中/opt/module/hadoop-3.1.3目录拷贝到hadoop103上。3.在hadoop103上操作，将hadoop102中/opt/module目录下所有目录拷贝到hadoop104上。1.在hadoop102上，将hadoop102中/opt/module/1.在/home/atguigu/bin目录下创建xsync文件。在103/104上执行source/etc/profile。输入102的密码，输入yes，在输入104的密码。...
shell脚本——xsync
热门推荐
perfer258的博客
08-05 1万+
xsync脚本基于rsync工具，rsync 远程同步工具，主要用于备份和镜像。具有速度快、避免复制相同内容和支持符号链接的优点，它只是拷贝文件不同的部分，因而减少了网络负担。 rsync -rvl $pdir/$fname $user@hadoop$host:$pdir 常用参数： -r, –recursive 对子目录以递归模式处理 -R, –relativ...
完全分布式部署hadoop
morexyoung的博客
12-28 476
3.3 完全分布式部署Hadoop分析：       1）准备3台客户机（关闭防火墙、静态ip、主机名称）       2）安装jdk       3）配置环境变量       4）安装hadoop       5）配置环境变量       6）安装ssh       7）配置集群       8）启动测试集群3.3.1 虚拟机准备详见2.2-2.3章。3.3.2 主机名设置详见2.4章。3.3.
Hadoop完全分布式部署(超全)
qq_27960935的博客
10-21 3433
Hadoop完全分布式部署 1、配置vm共享文件夹 注意：主要是实现window与虚拟机之间的文件共享，如果用实体机的，就不需要这步 1.1 linux系统创建共享目录 mkdir -p /work/software/share 1.2 vm配置共享文件夹 2、配置vm网络 vm安装步骤看这 三台服务器ip为： hdp01 192.168.10.133 hdp02 192.168.10.134 hdp03 192.168.10.135 3、配置虚拟机 注意：以下内容三台服务器同样配置（以第一台服务
【Hadoop】安装部署-完全分布式搭建
Deity567的博客
06-28 2596
Hadoop是一个适合大数据的分布式存储和计算平台。狭义上说Hadoop就是一个框架平台，广义上讲Hadoop代表大数据的一个技术生态圈，包括很多软件框架。而我们的完全分布式，指的是在真实环境下，使⽤多台机器，共同配合，来构建⼀个完整的分布式 ⽂件系统。在真实环境中，hdfs中的相关守护进程也会分布在不同的机器中。Hadoop是大数据中的基础框架，有着广泛的应用，也是其他大数据框架的基础。总的来说，对于本次Hadoop的完全分布式的搭建还算是挺简单滴啦，若有不对滴还请大家在评论区指正哦！
rsync同步工具和xsync、xcall集群脚本
今天很快乐呀
11-20 874
rsync rsync 远程同步工具，主要用于备份和镜像。具有速度快、避免复制相同内容和支持符号链接的优点。 rsync 和 scp 区别：用 rsync 做文件的复制要比 scp 的速度快，rsync 只对差异文件做更新。scp 是把所有文件都复制过去。 （1） 查看rsync 使用说明 man rsync | more （2） 基本语法 rsync -rvl   $pdir/$fn...
分布式部署
cqzengddb的博客
12-24 3197
1.什么是分布式系统  通俗点说：就是能把系统进行拆分并部署到多台服务器上的系统。(注意区分分层和集群) 专业点说：分布式软件系统(Distributed Software Systems)是支持分布式处理的软件系统，是在由网络互联的多处理机体系结构上执行任务的系统。常见的有：分布式操作系统、分布式程序设计语言及其编译(解释)系统、分布式文件系统、分布式数据库系统、分布式应用系统等。 2.为何...
rsync远程同步和时间同步
qq_35315256的博客
12-23 440
1、基本语法 rsync -rvl $pdir/$fname $user@hadoop$host:$pdir/$fname 2、xsync集群分发脚本 touch xsync.sh vim xsync.sh #!/bin/bash # $#：表示传递给脚本或函数的参数个数。 #1 获取输入参数个数，如果没有参数，直接退出 pcount=$# if((pcount==0));...
Hadoop集群搭建(详细步骤)—完全分布式运行模式
安歌Object
08-11 7836
分析： 1）准备3台客户机（关闭防火墙、静态ip、主机名称） 2）安装jdk 3）配置环境变量 4）安装hadoop 5）配置环境变量 6）配置集群 7）单点启动 8）配置ssh 9）群起并测试集群 一、虚拟机准备 详见： Hadoop运行环境搭建（含Linux网络配置和系统管理操作） https://blog.csdn.net/weixin_37838429/artic...
hadoop完全分布式安装以及集群的配置和启动
qq_43066945的博客
08-12 2200
（准备三台服务器hadoop128、hadoop129、hadoop130） 使用xsync将hadoop和环境变量文件分发到其他服务器上 xsync的使用： https://blog.csdn.net/qq_43066945/article/details/119458718 但是我们每次使用都需要输入密码，可以使用ssh免密，也可以使用sshpass规避输入密码 ssh免密： 进入家目录，可能是/home/用户名/中，也可能在/root中 ls -al cd .ssh 1.执行如下命令： ssh-
rsync 远程同步工具
qq_41889799的博客
09-04 315
rsync 远程同步工具 rsync主要用于备份和镜像，具有速度快、避免复制相同内容和支持符号链接的优点。 rsync和scp区别：用rsync做文件的复制要比scp的速度快，rsync只对差异文件做更新。scp是把所有文件都复制过去。 （1）基本语法 rsync -rvl $pdir/$fname $user@hadoop$h...
集群间文件的拷贝
叁木大数据
12-09 4492
如果你伪分布式搭建成功，那么恭喜你，你离完全分布式集群的搭建只差一步了（其实你已经会了，因为完全分布式其实也就相当于配置多个伪分布式。只是配置文件可能有一定的区别） 集群间文件的拷贝1.scp（secure copy）安全拷贝1.1定义:1.2基本语法: 1.scp（secure copy）安全拷贝 1.1定义: scp可以实现服务器与服务器之间的数据拷贝。（from server1 to ser...
centos7搭建hadoop集群之rsync和xsync
yhblog的博客
11-14 1万+
文章记录于各个服务器（或者虚拟机等）已经配置了ssh免密登录，可执行下面操作，未配置ssh免密登录，可参考：https://blog.csdn.net/yhblog/article/details/84029535 此文章是基于centos7minimal版本的，纯净系统，所以还需要安装rsync工具（确保所有节点都必须安装rsync） 否则报错： 安装成功： 启动rsync服务 sys...
rsync 远程同步工具和分布式脚本部署
qq_24216697的博客
09-30 233
rsync主要用于备份和镜像。具有速度快、避免复制相同内容和支持符号链接的优点。 rsync和scp区别：用rsync做文件的复制要比scp的速度快，rsync只对差异文件做更新。scp是把所有文件都复制过去。 （1）基本语法 rsync -rvl $pdir/$fname $user@hadoop$host:$pdir/$fname...
完全分布式Hadoop集群部署指南
本资源详细介绍了如何进行Hadoop集群的完全分布式部署，从基础的主机名修改到高级的Hive远程模式安装，覆盖了整个部署过程的关键步骤。 首先，部署Hadoop集群的第一步是修改主机名，这可以通过编辑`/etc/sysconfig/...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值