大数据-Hadoop-云服务器的搭建

一. 云服务器的购买及其设置

1. 服务器的选择及购买

（略）

【狂神说Java】服务器购买及宝塔部署环境说明_哔哩哔哩_bilibili

2. 配置安全组规则（开放端口）

（1）阿里云官网登录控制台

 （2）云服务器ECS

 （3）选择下面的实例，i-uf68gja99cvz0p96wcq7

 （4）安全组规则

 （5）添加安全组规则

 （6）把三个实例相互之间全部打通，全部坦诚相见，下面那个填写对方的ip

3. xshell登录，服务器之间的无密登录

（1）首次登录xshell需要用户名和密码，填写root和对应的密码，记得把记住用户名和记住密码勾选上

（2）首次登录没有公钥私钥要创建

创建密钥：

ssh-keygen -t rsa

把公钥送给另外两台服务器

ssh-copy-id 139.196.225.217

然后会填写相应的密码，送钥完成

（3）检查是否配置成功

ssh 116.62.26.19

能连上相应的服务器代表成功

4. hosts映射

（1）进入根目录

vim /etc/hosts

 （2）添加图片对应的映射

 重要：在第一台服务器中，也就是hadoop102中，填写自己的私网，访问别人的填写公网

二. Hadoop及JDK安装

1. Hadoop以及JDK版本选择

（1）jdk：1.8.0_212

（2）hadoop：3.1.3

2. Hadoop以及JDK上传云端

（1）进入到 /opt目录下创建两个文件夹，一个放压缩包，另外一个放软件

 （2）用xshell软件的xftp工具把两个包扔进去

3. scp命令, sync命令以及集群分发脚本xsync

（1）（scp）拷贝，服务器慢的话这个命令也慢

（2）（sync）同步，后续用这个命令

（3）（sxync）集群分发脚本，以后都用这个，仍在 /root/bin/下面，没有目录创建一个

#!/bin/bash
#1. 判断参数个数
if [ $# -lt 1 ]
then
 echo Not Enough Arguement!
 exit;
fi
#2. 遍历集群所有机器
for host in 47.100.71.234 139.224.72.1 139.196.225.217
do
 echo ==================== $host ====================
 #3. 遍历所有目录，挨个发送
 for file in $@
 do
 #4. 判断文件是否存在
 if [ -e $file ]
 then
 #5. 获取父目录
 pdir=$(cd -P $(dirname $file); pwd)
 #6. 获取当前文件的名称
 fname=$(basename $file)
 ssh $host "mkdir -p $pdir"
 rsync -av $pdir/$fname $host:$pdir
 else
 echo $file does not exists!
 fi
 done
done

4. 文件解压缩以及相应的环境变量

（1）在/profile.d/下面编写一个环境变量的sh文件

vim /etc/profile.d/my_env.sh 

（2）xsync分发给另外两台服务器

#JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_212
export PATH=$PATH:$JAVA_HOME/bin

#HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-3.1.3

export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

5. 安装完成后的校验

（1）jdk的检查，至少要在根目录下

java -version

（2）hadoop的检查

hadoop version

三. Hadoop配置文件

0. 总体安装分配