目录
一、在Linux系统下我们要配置时钟同步(有两种,这里我就说一种)、配置主机名、配置网络环境、关闭防火墙:
(2)、配置主机名(这里我们在克隆后的克隆机上需要重新修改成对应的主机名)
(3)、使用 setup 命令配置网络环境(这里我们在克隆后的克隆机上需要重新修改成对应的主机ip)
(6)、将 mysql 的 java connector 复制到依赖库中
对于学习Hadoop时,可能有朋友想快速搭建一个Hadoop集群,所以我现在自己将觉得是可以快速搭建的方法分享给大家,大多数的配置参数是来自我们老师发给我们的文档的,如果你有自己想要的配置参数可以查看Hadoop文档。
这个文章是主要是写给我们班上的同学的,是学习记录,如果有什么错误之处,还请大佬指点,谢谢!
如果需要下载linux的CentOS镜像文件可以参考:Centos6.5镜像下载_你的破壁人呀的博客-CSDN博客_centos6.5
对于在VMware Workstation Pro中创建虚拟机我就不多说了,我就假定拥有linux系统的虚拟机大家都安装好了,现在我们开始搭建我们的Hadoop吧(所谓快速搭建Hadoop集群,就是在一台虚拟机中将相关的配置都配好,然后我们在克隆就行(克隆几台就看你想要几台,这里我配置三台)!
@搭配前的准备@:
1、我们需要将需要的包下载好并且上传到linux上的/home/trzy/的用户下。
(1)、spark-2.4.4-bin-hadoop2.7.tgz
链接:https://pan.baidu.com/s/1t6mYjdJteWIACnUyPuKbXw
提取码:8888
(2)、apache-hive-2.3.6-bin.tar.gz
链接:https://pan.baidu.com/s/11z0Bn2gr6-hLZhRS5Cbccw
提取码:8888
(3)、hadoop-2.7.7.tar(2).gz
链接:https://pan.baidu.com/s/15q7b2-uil2kGd8M0ABA1tw
提取码:8888
(4)、jdk-8u221-linux-x64.tar(1).gz
链接:https://pan.baidu.com/s/1qoqP1YfpeiUibQ37T6twSQ
提取码:8888
(5)、mysql-5.7.37-linux-glibc2.12-x86_64.tar.gz
链接:https://pan.baidu.com/s/1cNl_7iziLreuDlKLIohwJA
提取码:8888
(6)、mysql-connector-java-5.1.27-bin(1).jar
链接:https://pan.baidu.com/s/1qo_HGsZ6i85bngsxpA5pWQ
提取码:8888
2、我使用的上传工具是:SSH Secure Shell(使用详细在文章最后)
链接:https://pan.baidu.com/s/1nTGxO3M-3syGWLXNHLZR3g
提取码:8888
一、在Linux系统下我们要配置时钟同步(有两种,这里我就说一种)、配置主机名、配置网络环境、关闭防火墙:
(1)、配置自动时钟同步
[root@master trzy]$ crontab -e
该命令是 vi 编辑命令,按 i 进入插入模式,按 Esc,然后键入:wq 保存退出 键入下面的一行代码,输入 i,进入插入模式(星号之间和前后都有空格)
0 1 * * * /usr/sbin/ntpdate cn.pool.ntp.org
如图:
(2)、配置主机名(这里我们在克隆后的克隆机上需要重新修改成对应的主机名)
这里我们使用gedit编辑主机名(同时也可以使用vi来编辑主机名)
[root@master trzy]$ gedit /etc/sysconfig/network
如图:
配置信息如下,如果已经存在则不修改
NETWORKING=yes #启动网络
HOSTNAME=master #主机名
确认命令生效
[root@master trzy]$ hostname master
检测主机名是否修改成功,可以重新打开一个终端命令窗口检测。
[root@master trzy]$ hostname
如图:
(3)、使用 setup 命令配置网络环境(这里我们在克隆后的克隆机上需要重新修改成对应的主机ip)
我们先看看自己的IP是什么?
[trzy@master ~]$ ifconfig
如图:
在终端中执行下面命令:
[root@master trzy]$ setup
会出现如图1:
现在第四个选项回车
会出现如图2:
第一个选项回车
会出现如图3:
第一个选项回车
会出现如图4:
我们使用上下键移动光标到星号那,按空格将星号去掉,这样我们就可以设置静态IP了,设置如图(注意:设置的IP192.168.220.154的前三个,就是192.168.220一定要和上面我们使用ifconfig查看的红圈中的IP的前三个一样),设置好后我们就OK+回车、Save+回车、 Save&Quit+回车、Quit+回车。
接下来我们就重启网络服务(如果失败,请将eth0换成eth1或eth2等)
[root@master trzy]$ /sbin/service network restart
输入结果如图:
使用ifconfig查看我们设置的IP是否成功。
(4)、关闭防火墙
在终端中执行下面命令:
[root@master trzy]$ setup
会出现如图:
现在第二个选项回车:
将光标移动到星号的位置,按空格将星号去掉,完成后OK+回车,再Yes+回车,如图:
二、配置hosts文件列表
在终端命令中输入:
[root@master trzy]$ gedit /etc/hosts
在打开的文件在输入我们的三台主机IP+主机名(格式:192.168.220.154 master),一台虚拟机一行(slave1与slave2我们先设置为192.168.220.155 slave1与192.168.220.156 slave2,之后我们克隆了slave1与slave2后使用 setup 命令配置网络环境,设置slave们的主机IP)。如图:
三、安装JDK
我们要将在 /home/trzy 下的jdk-8u221-linux-x64.tar(1).gz文件移动到 /usr/java 下(如果普通用户解压失败,可以使用root用户解压)
[trzy@master ~]$ mkdir /usr