linux常用操作

1、集群间拷贝

1）scp（secure copy）安全拷贝

    （1）scp 定义

               scp 可以实现服务器与服务器之间的数据拷贝。（from server1 to server2）

    （2）基本语法

              scp   -r      $pdir/$fname                    $user@$host:$pdir/$fname

              命令 递归 要拷贝的文件路径/名称   目的地用户@主机:目的地路径/名称

    （3）案例实操

              scp -r /opt/module/jdk1.8.0_212 dada@hadoop102:/opt/module

2）rsync 远程同步工具

     （1）定义

               rsync 主要用于备份和镜像。具有速度快、避免复制相同内容和支持符号链接的优点。

    （2）基本语法

               rsync    -av            $pdir/$fname                  $user@$host:$pdir/$fname

               命令    选项参数 要拷贝的文件路径/名称 目的地用户@主机:目的地路径/名称

               选项参数说明： -a 归档拷贝 -v 显示复制过程

    （3）脚本应用

              脚本说明：xsync 要同步的文件名称

#!/bin/bash
#1. 判断参数个数
if [ $# -lt 1 ]
then
 echo Not Enough Arguement!
 exit;
fi 
#2. 遍历集群所有机器
for host in hadoop102 hadoop103 hadoop104
do
 echo ==================== $host ====================
 #3. 遍历所有目录，挨个发送
 for file in $@
 do
 #4. 判断文件是否存在
 if [ -e $file ]
 then
 #5. 获取父目录
 pdir=$(cd -P $(dirname $file); pwd)
 #6. 获取当前文件的名称
 fname=$(basename $file)
 ssh $host "mkdir -p $pdir"
 rsync -av $pdir/$fname $host:$pdir
 else
 echo $file does not exists!
 fi
 done
done

    （4）实操小结

              a：期望脚本在任何路径都能使用（脚本放在声明了全局环境变量的路径）

                    全局变量路径：echo $PATH

               b：如果用sudo使用脚本，需要加上脚本的全路径

                     sudo ./bin/xsync /etc/profile.d/my_env.sh

3）rsync 和 scp 区别：

用 rsync 做文件的复制要比 scp 的速度快，rsync 只对差异文件做更 新。scp 是把所有文件都复制过去。

 

2、免密登陆配置

1）语法

     ssh hadoop103

2）配置公钥私钥

      （1）生成公钥和私钥

               ssh-keygen -t rsa

               然后敲（三个回车），就会生成两个文件 id_rsa（私钥）、id_rsa.pub（公钥）

      （2）将公钥拷贝到要免密登录的目标机器上

               ssh-copy-id hadoop102

3）公钥私钥文件解释

     （1） 生成文件目录：~/.ssh

    （2）生成文件说明：

known_hosts	记录 ssh 访问过计算机的公钥（public key）
id_rsa	生成的私钥
id_rsa.pub	生成的公钥
authorized_keys	存放授权过的无密登录服务器公钥