Hadoop入门指南之Linux环境搭建

Hadoop系列文章索引:

Hadoop入门指南之HDFS介绍

Hadoop入门指南之Linux环境搭建

Hadoop入门指南之Linux软件安装

Hadoop入门指南之Hadoop安装

Hadoop入门指南之hdfs命令行使用.

Hadoop入门指南之MapReduce介绍

Hadoop入门指南之统计库存实战

Hadoop入门指南之分区、规约实战

Hadoop入门指南之排序实战

Hadoop入门指南之分组实战

Hadoop入门指南之表连接操作

Hadoop入门指南之yarn介绍

在继续学习HDFS的操作之前,需要先搭建Hadoop的运行环境。

首先需要准备的是两台及以上的Linux服务器。这里介绍在Windows系统下,使用VMware软件创建CentOS虚拟机的方式搭建Linux服务器。

先在网上下载VMware软件以及CentOS6的镜像文件,镜像文件可以在https://download.csdn.net/download/shenjuntao520/16051828下载。

安装好VMware后先进行网络设置:

1、确认服务都开启

这四个跟VMware相关的服务都必须是正在运行的状态,启动类型也设为自动。

2、确认VMware的网关地址

打开 编辑—>虚拟网络编辑器

选中名称为VMnet8的条目,点击下面NAT设置,查看网关IP的值,如果没有,可以自行填写,前面和子网IP一样,最后一段为1。记住网关IP,这里是192.168.174.1。修改后点击确定,未修改就点取消。

进入Windows系统的网络共享中心,点击更改适配器设置。

右键VMware Network Adapter VMnet8,点击属性。双击Internet协议版本4(TCP/IPV4)。

按照图中配置,其中IP地址的前三段和刚才在VMware记录的网关IP一致,最后一段填写大于1的值。默认网关填VMware上的网关IP。其他都和图中一样填写。

进入VMware,点击文件->新建虚拟机,按照提示操作,在安装来源选择安装程序光盘映像文件(ISO)。

选择自己硬盘上CentOS6的镜像文件位置,这里笔者没找到,使用了Windows Server2016作为演示,请勿参考。

一直下一步,到了命名虚拟机,虚拟机名称改为node01,,并把位置设置在一个最少有150G的硬盘上。

下一步,最大磁盘大小选择40G。

下一步,点击自定义硬件。

这里对内存进行设置,因为要部署三台虚拟机并同时运行,请设置为(电脑内存-4)/3的值,因为笔者同时需要打开多个应用,比较占内存,就设置了更低的值。

最后点击完成。

之后不要开启虚拟机,找到虚拟机的文件位置,复制出两份来,分别命名为node02、node03。

使用VMware打开这三台虚拟机,并开机。

对CentOS6进行一些必要的设置,包括root用户登录名和密码等,此处略,可自行查阅资料。

分别在三台机器上输入命令

vim /etc/udev/rules.d/70-persistent-net.rules

友情提示,输入文件路径的时候,不需要输全,输一些后就可以使用Tab键自动补全,如果不能补全就证明还有前缀一样的文件,再多输几个字符后试Tab。

点击虚拟机->设置,选择网络适配器,点击高级。

 

查看虚拟机的MAC地址,由于是复制的虚拟机文件,所以node02、node03可能和node01的MAC地址一致,请分别点击生成,重新生成一个新的MAC地址。

记录下这个地址,这里为00:0C:29:61:02:EC。

在刚才vim编辑打开的文件中找到ATTR(Address)为00:0C:29:61:02:EC的那一行,删除其他行,如果都没有,就保留一行,然后把ATTR(Address)改为00:0C:29:61:02:EC,把最后的name改为eth0。

友情提示,vim中要编辑文件先按键盘上的Insert,看到左下方显示——INSERT——后开始编辑,编辑完成后按ESC,在按:键,然后输入wq!,最后回车实现保存并退出。

输入命令vim /etc/sysconfig/network-scripts/ifcfg-eth0,编辑修改成

这里的HWADDR就是MAC地址,IPADDR三台机器要不同,这里笔者设置的为192.168.174.100、192.168.174.110、192.168.174.120。

输入命令vim /etc/sysconfig/network,编辑成

这里的HOSTNAME,三台机器不同,笔者设置为node01、node02、node03。

输入命令vim /etc/hosts,在后面添加

注意这里的值和前面要一致。

之后关机重启Linux系统。

启动后尝试ping www.baidu.com。看看能否正常联网。

到这里,我们就可以使用Xshell等Shell工具连接虚拟机进行操作了。因为在VMware里输入命令不能粘贴复制,所以建议使用Shell工具进行连接,这里不赘述。提示,各个软件有可以同时对所有已连接的虚拟机运行输入命令的功能,这样就减少了重复操作。

运行service iptables stop

运行chkconfig iptables off

这样防火墙就关闭了。

输入命令vim /etc/selinux/config,把SELINUX的值改为disabled来关闭SELINUX

接着让三台机器可以互相免密登录。

三台机器上运行ssh-keygen -t rsa,执行命令后按三次回车即可。

在三台机器上运行ssh-copy-id node01,讲rsa公钥拷贝到node01机器上。

在node01上运行

scp /root/.ssh/authorized_keys node02:/root/.ssh
       scp /root/.ssh/authorized_keys node03:/root/.ssh

来将第一台机器的公钥拷贝到另外两台上。

在三台机器上运行yum install -y ntp,如果报All mirror URLs are not using ftp, http[s] or file的错误,请参考文章All mirror URLs are not using ftp, http[s] or file的解决方法

安装完成后运行crontab -e,输入*/1 * * * * /usr/sbin/ntpdate ntp4.aliyun.com 实现三台机器时钟同步。

到这里Linux环境搭建就完成了,下篇介绍为CentOS安装必要的软件。

感谢观看,如果您觉得文章写得还不错,不妨点个赞。如果您觉得有什么疑惑或者不对的地方,可以留下评论,看到我会及时回复的。如果您关注一下我,那么我会更高兴的,谢谢!

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值