Hadoop(1.1)——xsync集群分发脚本

Hadoop运行模式:

  • Local Mode

    本地模式,数据存储在linux本地,测试时偶尔用

  • Psedo-Distributed Mode

    伪分布式模式:数据存储在HDFS,适用预算有限的情况

  • Fully-Distributed Mode

    完全分布式,数据存储在HDFS/多台服务器工作,企业大量用这个

完全分布式运行模式的搭建

步骤:

  1. 准备3台客户机(关闭防火墙、静态ip、主机名称)

  2. 安装JDK,配置环境变量

  3. 安装Hadoop,配置环境变量

  4. 配置集群

  5. 单点启动

  6. 配置ssh

  7. 群起并测试集群

1、编写集群分发脚本xsync

将102号主机上的JDK和hadoop拷贝到103、104中

1)scp(secure copy)安全拷贝
scp可以实现服务器之间的数据拷贝。

#基本语法:scp -r(递归) $pdir/$fname(文件路径/名称) $user@
  • 0
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Hadoop集群上,通常会使用分布式文件系统(HDFS)和计算框架(MapReduce)来处理大数据。对于在三台服务器之间分发脚本,首先你需要确保这三台服务器都已经安装了Hadoop环境,并配置好网络通信。 以下是基本步骤: 1. **复制脚本集群**: 使用`scp`命令将脚本从一台管理机器复制到Hadoop集群的任意一台启动机(Master Node),例如: ``` scp your_script.sh user@master_ip:/path/to/hadoop/script/ ``` 确保`user`有权限执行该脚本。 2. **修改脚本以接受参数**: 如果脚本需要特定的参数,比如服务器名称列表,你可以通过读取环境变量、配置文件或命令行参数来获取这些信息。 3. **编写分发策略**: 创建一个 shell 脚本来遍历所有服务器,然后对每个服务器运行已复制的脚本。这通常涉及到循环或条件判断,示例如下: ```bash for server in slave1 slave2 slave3; do ssh user@$server "cd /path/to/hadoop/script && ./your_script.sh $server_param" done ``` 这里`slave1`, `slave2`, `slave3`代表你的三个工作节点(Worker Nodes),`$server_param`是传递给脚本的具体参数。 4. **监控与日志**: 执行过程中可能会生成日志,确保你配置了合适的日志路径和监控机制以便追踪脚本的执行情况。 5. **错误处理**: 添加适当的错误处理机制,如捕获`ssh`连接失败或脚本执行异常,以免影响整个任务。 **相关问题--:** 1. 如何验证脚本是否成功分发并执行? 2. 分布式环境中如何处理脚本执行的结果? 3. 是否需要在每台服务器上都设置Hadoop环境变量?如果需要,怎么设置?
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值