二、搭建集群
1.hadoop目录:bin、etc、sbin、share、lib
2.官网:http://hadoop.apache.org/
3.运行模式:本地模式、伪分布式、完全分布式
4.完全分布式:
-
3台客户机
-
安装jdk、hadoop
-
配置环境变量
-
配置集群
-
单点起动
-
配置ssh
-
群起测试集群
-
配置日志聚集
5.安全拷贝(拷贝全部):scp -r 文件 $user@$host:文件
6.远程同步:rsync -av 文件 $user@$host:文件
7.xsync集群分发脚本
-
循环主机、循环文件、判断文件存在、取父路径、取文件名、目的地创建文件目录、rsync同步
8.jpasll、mycluster、clear.sh
9.免密登录:A生成密钥对,并将公钥给B,(A向B请求,B解析成功,则A可免密登录B)
-
ssh-keygen -t rsa
-
ssh-copy-id B
-
公钥放于:家目录/.ssh/authorized_keys