阶段二,hadoop,2.集群搭建

二、搭建集群

1.hadoop目录:bin、etc、sbin、share、lib

2.官网:http://hadoop.apache.org/

3.运行模式:本地模式、伪分布式、完全分布式

4.完全分布式:

  • 3台客户机

  • 安装jdk、hadoop

  • 配置环境变量

  • 配置集群

  • 单点起动

  • 配置ssh

  • 群起测试集群

  • 配置日志聚集

5.安全拷贝(拷贝全部):scp -r 文件  $user@$host:文件

6.远程同步:rsync -av 文件 $user@$host:文件

7.xsync集群分发脚本

  • 循环主机、循环文件、判断文件存在、取父路径、取文件名、目的地创建文件目录、rsync同步

8.jpasll、mycluster、clear.sh

9.免密登录:A生成密钥对,并将公钥给B,(A向B请求,B解析成功,则A可免密登录B)

  • ssh-keygen -t rsa

  • ssh-copy-id B

  • 公钥放于:家目录/.ssh/authorized_keys

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值