Hadoop

Hadoop集群搭建

搭建集群首先要设置网络我使用的是vmware虚拟机

在编辑的虚拟网络编辑器中设置 进入虚拟网络编辑器

更改配置

一般网络配置要更改三个地方 vmware 你创建的虚拟机配置 还有windows系统

现在我们将vmware配置好 现在去更改Windows的
打开Windows网络配置 选择高级网络配置中的更改适配器选项

点开以太网4 发现是vmnet1 而我们要更改的是vmnet8 前往别改错了
打开以太网5的属性

点击进入

打钩后确认更改那么 windows就修改完毕了
先将创建的虚拟机改名
第一台机器叫hadoop100
一共有三台 每台机器的名字不能相同
接下来修改创建的虚拟机配置

进入修改

在这里将添加主机的地址和映射

因为待会要用到所以直接多添加几个映射
然后下载xshell 和xftp 方便使用虚拟机和从Windows中传输文件给虚拟机
然后去官网下载jdk的安装包

要下载适配的是压缩存档的 就是后面有tar.gz的不要下载错误了 Hadoop的下载也是一样的道理将这两个安装包放到自己虚拟机中 就是连接xshell和虚拟机 然后用xftp传输 所以一个在在虚拟机中创建一个文件夹专门存放着安装包 顺便也创个文件夹用于存放解压后的文件 我一般将 /opt 作为我的主要路径 在这个路径下我创建了 software和module 分别用于存放按转包和解压后的文件
如果遇到使用xftp中传输失败 室友八九是路径的权限不够 用chmod 的命令更改路径权限即可

当然解压好了hadoop和jdk后 还要进行路径的配置环境配置 你可以在`/.bashrc 和 profile.d中进行设置 添加路径就是

然后你就可以把这台虚拟机进行克隆克隆两台 那么你就有三台了 然后将克隆的这两台分别修改hostname 为 hadoop101和hadoop102 在去修改网络的IP地址

分别将IP地址设置为192.168.10.101和192.168.10.102其他的设置不用变
然后设置三台机器的ssh免密安全的登录
Ssh设置好后 我们就可以开始配置集群了
这是我们的规划

在hadoop100上放datanode 和namenode 在hadoop101中就存放datanode Hadoop103中设置了datanode和secondarynamenode
具体在那些文件配置呢
core-site.xml hdfs-site.xml mapred-site.xml yarn-site.xml
这几个文件在你的解压后的hadoop中的etc中的hadoop中

这是每个文件配置的说明
配置 core-site.xml

yarn-site.xml

mapred-site.xml

hdfs-site.xml

然后用scp命令将这些配置文件分发给另外两台虚拟机
然后关闭反火墙

最后关机重启即可