Hadoop配置环境篇

用于查询所有安装的jar包

rpm -qa | grep java
rpm -qa | grep java | xargs sudo rpm -e --nodeps   (有依赖)

解压文件

tar -zxvf ...(压缩的文件) -C  /opt/module(目标的文件夹)

解释：
以后的安装包的压缩包全部放到/opt/software，然后所以解压后的安装包放到/opt/module文件夹下；
-zxvff的含义：
z：压缩编码gzip
x：解压
v：信息
f：指定一个文件

hadoop里面：
etc：配置文件
bin：可执行文件
lib：库，放本地库文；所以hadoop依赖于本地库文件，这就是hadoop需要编译的原因，hadoop并不是一个纯粹的java软件
sbin：脚本
share：所有的jar包都在share文件夹里面，这是最重要的

share里面：
doc：文档
hadoop：文体

hadoo里面：
common, hdfs, httpfs, kms, mapreduce, tools, yarn

设置SSH免密登录

SSH的含义：
一种通信协议，Secure Shell(安全外壳协议，简称SSH)，一种网络传输协议；可在不安全的网络服务中提供安全的传输环境。
SSH以非对称加密实现身份验证；
对称加密：即加密和解密的密钥是同一个；这里有一个笑点：密钥的读法其实是mi yue，但是被误读成了mi yao ，hhh.
非对称加密：加密和解密用得一定是不同的密钥。
列子一个典型的非对称的加密算法：rsa加密算法，让人感受到数学的魅力,hhh.
为什么会出现非对称加密：
原因是出现了这样的需求；当小李想要发私密的信息给小王的时候，然后你得把解密的密钥发给他，他才能解读，那么问题来了，发信息的时候是明文，如果有人窃听到了这个信息，那么如果使用对称加密两人所有的信息都会被窃听到，但是如果使用非对称加密，你只需要把密钥B发给小王，然后把密钥A留着，这样小王发给小李的信息就永远也不会泄露，泄露的只可能是小李发给小王的信息，这样保密性就提高了。

(1)用于生成一个公钥

ssh-keygen -t rsa

然后后面一直回车，这样就生成了一对密钥。
knon_hosts：记录见过的主机

(2)实现从hadoop 发送 hadoop1信息，把B发给hadoop1

ssh-coopy-id hadoop103(由于前面没有配置成功所以需要直接IP地址)

使用上面的方法，当虚拟机太多的时候，输密码的时候不安全，另外步骤也非常的重复，现在有一种简单的方法时间指定虚拟机中间的ssh连接：

ssh-copy-id IP地址(这里直接填自己主机的IP地址)
xsync .ssh

上面操作的含义是将.ssh整个文件夹送到所有集群上的主机.这样所有的机子就都可以相互访问了。但是这个方法，最好不要在公网上操作。