Hadoop集群

Hadoop集群有三种模式：本地模式、伪分布式模式、完全分布式模式

本地模式

其中运行程序为

输入路径为：wcinput

里面包含一个文档word.txt

输出路径为：wcoutput，输出路径必须不存在，若存在会报错

完全分布式

scp安全拷贝指令

查看下面的链接：相关链接

rsync同步指令

• 复制和同步的区别
  • 复制：完全拷贝
  • 同步：只修改以变化的内容
  • rsync比scp快
• 基本语法
  • 
• 第一次使用用scp，后续使用用rsync

xsync集群分发脚本

• 定义
  • xsync是对rsync的一个封装，其实现循环复制内容
  • 例如：
    • 在服务器102创建一个文档a.txt，当执行xsync a.txt的时候，103和104也可以同步得到a.txt
• 操作：
  • 相关链接

ssh无密登录配置

ssh的基本功能

在hadoop102输入ssh hadoop103之后成功进入hadoop103服务器，然后输入exit退出hadoop103

 ssh免密登录的原理

 ssh免密登录的配置

查看下面的链接：相关链接

ssh-keygen -t rsa
输入完之后连点三次enter键

ssh-copy-id hadoop103
其中hadoop103是免密登录的目标机

集群配置