hadoop学习之虚拟机之间的文本传输（集群分发脚本xsync）

最新推荐文章于 2024-05-15 16:14:37 发布
最新推荐文章于 2024-05-15 16:14:37 发布
阅读量521 收藏 2
点赞数
文章标签： 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xwynefu/article/details/105116138
版权

hadoop学习之虚拟机之间的文本传输（集群分发脚本xsync）
所有操作在root下进行
即输入su root
首先进入Linux虚拟机hadoop1中 使用命令 cd /usr/local/bin
进入/usr/local/bin目录中
是用vim xsync直接创建脚本xsync并进行编辑
在这里插入图片描述
之后输入：x保存退出

xsync脚本内容为在这里插入图片描述此处倒数第四行for循环里host=2；host<4是因为我有三台虚拟机可根据自己虚拟机的个数进行更改

准备好之后试验一下 让我们进入cd /opt在这里插入图片描述这里输入第二台虚拟机的权限密码即可

PS：第一次实验是可能会出现问题
我遇到的是Could not resolve hostname hadoop03: Name or service not known
这是因为你没有在/etc/hosts中加入你另外几台虚拟机的IP
用vim 修改hostos即可格式为
在这里插入图片描述在后面加入 ip 虚拟机主机名 这个格式即可
有几个加几行
之后使用脚本即可

xwynefu
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
虚拟机安装之克隆三台虚拟机2（配置xsync集群分发脚本）
Queen0809的博客
04-13 372
2、配置xsync集群分发脚本 (1)在/home/xiaobuding目录下创建bin文件夹 [xiaobuding@hadoop102 ~]$ mkdir bin (2)在/home/xiaobuding/bin目录下创建xsync文件，以便全局调用 [xiaobuding@hadoop102 ~]$ cd /home/xiaobuding/bin [xiaobuding@hadoop102 ~]$ vim xsync 在该文件中编写如下代码 #!/bin/bash #1. 判断参数个数 if [
脚本分发（学习笔记4）
RomanticRick的博客
03-25 2327
完全分布式运行模式（开发重点） 分析： 1）准备 3 台客户机（关闭防火墙、静态 IP、主机名称） 2）安装 JDK 3）配置环境变量 4）安装 Hadoop 5）配置环境变量 6）配置集群 7）单点启动 8）配置 ssh 9）群起并测试集群 编写集群分发脚本 xsync 1）scp（secure copy）安全拷贝 （1）scp 定义 scp 可以实现服务器与服务器之间的数据拷贝。（from server1 to server2） （2）基本语法 scp -r...
集群分发脚本xsync简单使用
qq_41874544的博客
12-14 788
Rsync的简单了解，xsync的脚本编写及快速使用
集群分发脚本xsync
最新发布
天道酬勤
05-15 937
使用 ssh-keygen -t rsa 命令，在生成命令时，会要求你输入密码短语、确认密码短语等信息，可根据自己需要的情况来填写，不填写也可以（但是建议通过ssh-keygen建立SSH keys，不要指定密码），如果不填写直接按回车键即可，然后就会生成两个文件id_rsa(私钥）、id_rsa.pub(公钥)-rw-------. 1 root root 1679 9月 20 15:49 id_rsa。-rw-r--r--. 1 root root 732 9月 20 15:10 xsync。
四、Hadoop 运行模式--编写集群分发脚本xsync
weixin_44340038的博客
07-28 837
rsync 和 scp 区别：用 rsync 做文件的复制要比 scp 的速度快，rsync 只对差异文件做更。scp 可以实现服务器与服务器之间的数据拷贝。具有速度快、避免复制相同内容和支持符号链接的优点。（c）期望脚本在任何路径都能使用（脚本放在声明了全局环境变量的路径）注意：如果用了 sudo，那么 xsync 一定要给它的路径补全。（1）需求：循环复制文件到所有节点的相同目录下。（e）同步环境变量配置（root 所有者）个别缺钱的公司用来测试，生产环境不用。scp 是把所有文件都复制过去。
Hadoop集群搭建详细步骤
01-30
搭建Hadoop集群涉及到多个步骤，包括虚拟机环境准备、克隆、网络配置、软件安装、集群配置、SSH免密登录以及集群的启动和测试。以下是详细的搭建过程： 1. **模板虚拟机环境准备** - 在VMware的虚拟网络编辑器中，...
shell脚本完成hadoop的集群安装
04-11
#shell脚本完成hadoop的集群安装 #步骤: #1.安装虚拟机，关闭防火墙、selinux #2.ssh免密码，编辑hosts文件 #3.安装JDK #4.安装hadoop #5.修改配置文件 #6.分发hadoop程序到各个节点 #7.启动集群
四 Hadoop运行模式之完全分布式运行模式
01-07
编写集群分发脚本xsync(名字顺便)3.1. scp（secure copy）安全拷贝3.2. rsync 远程同步工具3.3. xsync 集群分发脚本4. 集群配置4.1 集群部署规划4.2 核心配置文件( core-site.xml )4.2.1 配置NameNode的地址4.3 ...
hadoop 集群搭建说明书.rar
06-29
本教程将详细讲解如何在虚拟机上搭建一个包含1个Master和3个Slave节点的Hadoop集群，以实现高效的数据处理能力。首先，我们需要理解Hadoop的基本架构和原理。 Hadoop的核心组件主要有两个：Hadoop Distributed File...
Hadoop集群自动安装
11-09
"Hadoop集群自动安装"是指通过自动化脚本或工具来快速部署和配置Hadoop环境，从而节省手动安装过程中所需的时间和精力。这样的自动化过程对于大规模的Hadoop集群尤其重要，因为它能确保一致性，减少人为错误，并提高...
编写集群分发脚本xsync
qq_52674050的博客
06-25 2151
目录 1.scp（secure copy）安全拷贝2 .rsync远程同步工具3. xsync集群分发脚本 （1）需求：循环复制文件到所有节点的相同目录下 （2）需求分析：（a）rsync命令原始拷贝：rsync -av /opt/module student@hadoop103:/opt/（b）期望脚本：xsync要同步的文件名称（c）期望脚本在任何路径都能使用（脚本放在声明了全局环境变量的路径）[student@hadoop102 ~]$ echo $PATH/usr
Linux 集群分发脚本 xsync
prefect_start的博客
06-06 1139
1、scp（secure copy）安全拷贝 1.1、定义 scp可以实现服务器与服务器之间的数据拷贝。（from server1 to server2） 1.2、基本语法 scp -r $pdir/$fname $user@hadoop$host:$pdir/$fname 命令 递归 要拷贝的文件路径/名称 目的用户@主机:目的路径/名称 1.3、案例实操 在hadoop102上，将hadoop101中/opt/module目录下
大数据之Hadoop集群安装和搭建
weixin_51788950的博客
08-29 761
大数据之Hadoop集群安装和搭建
Xsync 集群分发脚本
m0_46299185的博客
09-25 767
Xsync 集群分发脚本 #查看全局变量 [atguigu@hadoop102 ~]$ echo $PATH /usr/local/bin:/usr/bin:/usr/local/sbin:/usr/sbin:/home/atgu igu/.local/bin:/home/atguigu/bin:/opt/module/jdk1.8.0_212/bi n [atguigu@hadoop102 ~]$ mkdir bin [atguigu@hadoop102 ~]$ cd bin [atguigu@hadoo
【CentOS7】centos7集群分发脚本xsync及ssh无密登陆 sync scp
小丛的知识窝
11-20 969
我们在搭建或维护集群的时候，很多情况下都需要将一个编写好的配置同步到集群中的其他机器。一个一个上传固然可以解决这个问题，但是当集群数量过大时就显得力不从心了，一个好用的集群间文件同步脚本就可以大大增加工作效率，在编写同步脚本之前需要先了解一些linux机器与机器之间文件的复制和同步的相关命令。 > 本文中用三台机器举例 机器名为 host2、host3、host4，每台机器都配置了hostname和ip的映射，在使用过程中直接使用hostname代替ip地址。hostname和ip的映射配置参见
xsync 集群同步脚本
Source_00的博客
10-16 4767
scp 和rsync均是远程拷贝， rsync 远程分发 xsync 集群分发脚本 循环复制文件到所有节点相同的目录下 新建一个脚本 touch xsync.sh vim xsync.sh #!/bin/bash # $#：表示传递给脚本或函数的参数个数。 #1 获取输入参数个数，如果没有参数，直接退出 pcount=$# if((pcount==0)); then echo no args...
linux 文件分发工具,Linux虚拟机的命令分发工具。
weixin_39687189的博客
05-09 149
deploy.sh工具的目的是，将一个文件，发送到其他服务器上面去。runRemoteCmd.sh工具的目的是，将一个命令，在多台服务器上执行。depoly.conf是上面两个工具的配置文件。deploy.sh的源码：#!/bin/bash#set -xif [ $# -lt 3 ]thenecho "Usage: ./deply.sh srcFile(or Dir) descFile(or Di...
"大数据应用开发实践：Hadoop集群部署与配置实践详解
首先，需要编写一个集群分发脚本xsync，用于将配置文件等信息分发到集群中。然后，进行集群部署规划，确定各个节点的角色和任务分配。 表1.1中展示了集群中三个节点的角色分配，包括HDFS（分布式文件系统）的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值