Hadoop系列文章索引:
在继续学习HDFS的操作之前,需要先搭建Hadoop的运行环境。
首先需要准备的是两台及以上的Linux服务器。这里介绍在Windows系统下,使用VMware软件创建CentOS虚拟机的方式搭建Linux服务器。
先在网上下载VMware软件以及CentOS6的镜像文件,镜像文件可以在https://download.csdn.net/download/shenjuntao520/16051828下载。
安装好VMware后先进行网络设置:
1、确认服务都开启
这四个跟VMware相关的服务都必须是正在运行的状态,启动类型也设为自动。
2、确认VMware的网关地址
打开 编辑—>虚拟网络编辑器
选中名称为VMnet8的条目,点击下面NAT设置,查看网关IP的值,如果没有,可以自行填写,前面和子网IP一样,最后一段为1。记住网关IP,这里是192.168.174.1。修改后点击确定,未修改就点取消。
进入Windows系统的网络共享中心,点击更改适配器设置。
右键VMware Network Adapter VMnet8,点击属性。双击Internet协议版本4(TCP/IPV4)。
按照图中配置,其中IP地址的前三段和刚才在VMware记录的网关IP一致,最后一段填写大于1的值。默认网关填VMware上的网关IP。其他都和图中一样填写。
进入VMware,点击文件->新建虚拟机,按照提示操作,在安装来源选择安装程序光盘映像文件(ISO)。
选择自己硬盘上CentOS6的镜像文件位置,这里笔者没找到,使用了Windows Server2016作为演示,请勿参考。
一直下一步,到了命名虚拟机,虚拟机名称改为node01,,并把位置设置在一个最少有150G的硬盘上。
下一步,最大磁盘大小选择40G。
下一步,点击自定义硬件。
这里对内存进行设置,因为要部署三台虚拟机并同时运行,请设置为(电脑内存-4)/3的值,因为笔者同时需要打开多个应用,比较占内存,就设置了更低的值。
最后点击完成。
之后不要开启虚拟机,找到虚拟机的文件位置,复制出两份来,分别命名为node02、node03。
使用VMware打开这三台虚拟机,并开机。
对CentOS6进行一些必要的设置,包括root用户登录名和密码等,此处略,可自行查阅资料。
分别在三台机器上输入命令
vim /etc/udev/rules.d/70-persistent-net.rules
友情提示,输入文件路径的时候,不需要输全,输一些后就可以使用Tab键自动补全,如果不能补全就证明还有前缀一样的文件,再多输几个字符后试Tab。
点击虚拟机->设置,选择网络适配器,点击高级。
查看虚拟机的MAC地址,由于是复制的虚拟机文件,所以node02、node03可能和node01的MAC地址一致,请分别点击生成,重新生成一个新的MAC地址。
记录下这个地址,这里为00:0C:29:61:02:EC。
在刚才vim编辑打开的文件中找到ATTR(Address)为00:0C:29:61:02:EC的那一行,删除其他行,如果都没有,就保留一行,然后把ATTR(Address)改为00:0C:29:61:02:EC,把最后的name改为eth0。
友情提示,vim中要编辑文件先按键盘上的Insert,看到左下方显示——INSERT——后开始编辑,编辑完成后按ESC,在按:键,然后输入wq!,最后回车实现保存并退出。
输入命令vim /etc/sysconfig/network-scripts/ifcfg-eth0,编辑修改成
这里的HWADDR就是MAC地址,IPADDR三台机器要不同,这里笔者设置的为192.168.174.100、192.168.174.110、192.168.174.120。
输入命令vim /etc/sysconfig/network,编辑成
这里的HOSTNAME,三台机器不同,笔者设置为node01、node02、node03。
输入命令vim /etc/hosts,在后面添加
注意这里的值和前面要一致。
之后关机重启Linux系统。
启动后尝试ping www.baidu.com。看看能否正常联网。
到这里,我们就可以使用Xshell等Shell工具连接虚拟机进行操作了。因为在VMware里输入命令不能粘贴复制,所以建议使用Shell工具进行连接,这里不赘述。提示,各个软件有可以同时对所有已连接的虚拟机运行输入命令的功能,这样就减少了重复操作。
运行service iptables stop
运行chkconfig iptables off
这样防火墙就关闭了。
输入命令vim /etc/selinux/config,把SELINUX的值改为disabled来关闭SELINUX
接着让三台机器可以互相免密登录。
三台机器上运行ssh-keygen -t rsa,执行命令后按三次回车即可。
在三台机器上运行ssh-copy-id node01,讲rsa公钥拷贝到node01机器上。
在node01上运行
scp /root/.ssh/authorized_keys node02:/root/.ssh
scp /root/.ssh/authorized_keys node03:/root/.ssh
来将第一台机器的公钥拷贝到另外两台上。
在三台机器上运行yum install -y ntp,如果报All mirror URLs are not using ftp, http[s] or file的错误,请参考文章All mirror URLs are not using ftp, http[s] or file的解决方法
安装完成后运行crontab -e,输入*/1 * * * * /usr/sbin/ntpdate ntp4.aliyun.com 实现三台机器时钟同步。
到这里Linux环境搭建就完成了,下篇介绍为CentOS安装必要的软件。
感谢观看,如果您觉得文章写得还不错,不妨点个赞。如果您觉得有什么疑惑或者不对的地方,可以留下评论,看到我会及时回复的。如果您关注一下我,那么我会更高兴的,谢谢!