实现三个容器无密码访问，且搭建hadoop

实现三个容器无密码访问，且搭建hadoop

首先创建一个通信

Docker network sparknetwork

第一步：创建第一个容器

第二步：进入容器设置vim/etc/ssh/sshd_config 增加一行PermitRootLogin yes

第三步：设置密码

启动ssh服务

第四步：再创建一个容器 操作如上所示同样，不进行赘述

第五步：创建第三个容器

第六步：下载查询ip的工具

第七步：查看ip

第八步：通过ssh访问 三个均可同样操作访问

第九步：生成密钥（3个操作均一样）

第十步：将公钥复制过来到authorized_keys文件中

查看内容

第十一步：将合并公钥复制到其他两个容器

第十二步：免密登录成功

第十三步：为了使用名字登录配置hosts （vim etc/hosts） 使用ifconfig查IP

第十四步：验证上面使用名字进入

第十五步： 可以把hadoop和jdk conda等压缩包拖入centos 然后移动到前面关联的opt文件中

这一步拖去解压可能出问题，所以使用xftp传输更稳妥

第十六步 解压jdk和hadoop到创建的文件夹hadooptar

第十七步： 为了方便进行后续的使用 我们将hadoop jdk名字简化

第十八步 hadoop-env.sh添加JDK安装位置

第十九步：在core-site.xml配置NameNode的运行主机和运行生成数据临时目录。

第二个框需要换成自己的路径

第二十步：修改hdfs-site.xml文件

设置HDFS数据块的副本数量以及second namenode的地址

第二十一步：修改mapred-site.xml文件

设置MapReduce的运行时框架

第二十二步：修改yarn-site.xml文件

设置yarn集群的管理者

第二十三步 修改workers文件

第二十三步：配每个容器里的置etc/profile 里的java hadoop的

export JAVA_HOME=/opt/hadooptar/jdk

export PATH=$PATH:$JAVA_HOME/bin

export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

————————————————

export HADOOP_HOME=/root/hadooptar/hadoop

export PATH=:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

————————————————

export JAVA_HOME=/opt/hadooptar/jdk

export PATH=$PATH:$JAVA_HOME/bin

export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

————————————————

第二十四步：source /etc/profile一下 验证是否jdk 和hadoop 配好了

第二十五步： 格式化HDFS

hdfs namenode -forma

然后运行start-all.sh 运行

使用jps查看

第二十六步：

进入192.168.81.131：9870 注意前面是虚拟机的IP地址

第二十七步：

进入192.168.81.131：8088 同样上面

遇到的问题：

问题一：讲压缩包直接拖入VMware中，然后进行解压。将会出现解压归档错误问题

我们通过下载xftp来进行传输文件解决了这个问题。