大数据上课笔记之Hadoop完全分布模式的安装配置——上

目录

一、Hadoop的部署模式

1、独立模式

2、伪分布式模式

3、 完全分布式模式

 二、集群规划

1、集群拓扑结构

 2、角色分配

三、jdk的安装和环境配置 

1、下载路径

2、上传到master虚拟机 

 3、在master虚拟机上安装配置JDK

4、将JDK分发到slave1和slave2虚拟机

 5、将环境配置文件分发到slave1和slave2虚拟机

 四、课后练习

---

一、Hadoop的部署模式

1、独立模式

• 在独立模式下，所有程序都在单个JVM上执行，调试Hadoop集群的MapReduce程序也非常方便。一般情况下，该模式常用于学习或开发阶段进行调试程序。

2、伪分布式模式

• 在伪分布式模式下， Hadoop程序的守护进程都运行在一台节点上，该模式主要用于调试Hadoop分布式程序的代码，以及程序执行是否正确。伪分布式模式是完全分布式模式的一个特例。

3、 完全分布式模式

• 在完全分布式模式下，Hadoop的守护进程分别运行在由多个主机搭建的集群上，不同节点担任不同的角色，在实际工作应用开发中，通常使用该模式构建企业级Hadoop系统。

 二、集群规划

1、集群拓扑结构

• 一个主节点，两个从节点

 2、角色分配

节点	角色
master	NameNode, DataNode
slave1	DataNode
slave2	DataNode

三、jdk的安装和环境配置 

1、下载路径

• 链接：https://www.oracle.com/webapps/redirect/signon?nexturl=https://download.oracle.com/otn/java/jdk/8u341-b10/424b9da4b48848379167015dcc250d8d/jdk-8u341-linux-i586.tar.gz 
• 或者百度网盘提取：链接: https://pan.baidu.com/s/1o1EXc0xjtMiJ49ZwtPED9g 提取码: uib5 

2、上传到master虚拟机 

•  将JDK压缩包上传到master虚拟机/opt目录
• 直接用cd命令进入此文件夹，拖入即可

•  使用ll命令查看上传结果

 3、在master虚拟机上安装配置JDK

•  执行命令：tar -zxvf jdk-8u341-linux-x64.tar.gz -C /usr/local，将JDK压缩包解压到指定目录

 

• 执行命令：ll /usr/local/jdk1.8.0_341，查看解压之后的jdk1.8.0_341目录 

•  执行命令：vim /etc/profile，配置环境变量

 

export JAVA_HOME=/usr/local/jdk1.8.0_341
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

•  存盘退出，执行命令：source /etc/profile，让配置生效

 

• 查看JDK版本

• 提示没有文件目录，解决办法如下
• 执行命令：yum -y install glibc.i686 

•  执行命令：java -version

4、将JDK分发到slave1和slave2虚拟机

•  执行命令：scp -r $JAVA_HOME root@slave1:$JAVA_HOME (-r：recursive - 递归)
• 执行命令：scp -r $JAVA_HOME root@slave2:$JAVA_HOME (-r recursive - 递归)

 

•  在slave1、slave2虚拟机上查看JDK是否拷贝成功 

 

 

 

 5、将环境配置文件分发到slave1和slave2虚拟机

• 执行命令：scp /etc/profile root@slave1:/etc

 

•  执行命令：scp /etc/profile root@slave2:/etc

 

•  在slave1与slave2虚拟机上执行命令：source /etc/profile，让环境配置生效

 

 

•  在slave1虚拟机上查看JDK版本

•  在slave2虚拟机上查看JDK版本

 四、课后练习

• 课后多去了解什么是完全分布式，然后学习怎么在虚拟机master上配置jdk文件并复制到slave1和slave2上