Hadoop项目VM虚拟Linux集群部署
作者写在前面的话:
最近各种事情堵在一起,心态又拉慢了,就进度很不尽人意。Linux常用命令还没写完。emmm尽力恢复速度。2019寒冬职位缩减,不开放,尽人事吧。难顶啊
本文只涉及到极其基础的Hadoop配置,之后关于Hadoop伪分布式配置会单独再一篇文章,这个相当于是一半。
不过,本文阅读完后,可做到使用
【初尝“人”味】
1.Hadoop单节点测试Standalone Operation
2.Wordcount频次统计
如果该篇文章帮助到读者了一小许忙或者一些实用价值,请不要吝啬点赞?评论收藏
如果该篇文章帮助到读者了一小许忙或者一些实用价值,请不要吝啬点赞?评论收藏
如果该篇文章帮助到读者了一小许忙或者一些实用价值,请不要吝啬点赞?评论收藏
被克隆虚拟机准备
顺序
- CentOS 7 系统安装
- 网卡名修改(感觉是可有可无)
- 网络配置修改
- 主机名修改
- Hosts解析文件修改
- Java环境配置
- 关闭防火墙服务及自起
- Hadoop部署
被克隆后不需要修改的——Java环境,Hadoop部署,Hosts解析文件,防火墙服务
被克隆后需要修改的——网卡名配置(因为MAC地址改变了),网络配置,主机名
CentOS安装
官方镜像7.6.1810下载
鸟哥CentOS7安装教程
关于安装中提醒的三个点:
- 手动配置磁盘分页
/boot:200-500Mib,200即可用,空间扩充到500是考虑系统更新后,会增加使用空间。
swap:与虚拟机分配的实际内存相当即可,可视作是Windows中的虚拟内存,将磁盘的一部分作为内存来使用,在内存不够用的时候。
/ :根目录,空间填空即余下全给根目录。 - 网卡名称:在安装的时候是可以设定的,就在开启网络的界面右下角。不需要再进入系统文件中修改。当然后面我也会写明,如何修改。
【我收集到的信息表明,CentOS 7的网卡命名规则进行了设定修改,会根据插槽等信息进行网卡名设定,但7以前的老式程序猿会习惯性的更改伪eth0之类的,从零开始,并且这个命名规则在CentOS中是可以进行人为修改设定的。有的人遇到的情况是7给出的网卡名很长/数字很长,很丑,不容易辨别,而我遇到的只是ens33感觉还可以接受,没有什么特别想修改他的感觉。】 - 设定一个拥有root权限的普通账户
这个在安装的最后一步是可以与root账户密码设定在同一个界面,设定完root密码,再去新建一个用户,并且有一个选项可进行勾勒。关于全名:没太大意义不影响什么
网卡名修改
修改文件路径
$ sudo vim /usr/lib/udev/rules.d/60-net.rules
文件原内容
#ACTION=="add", SUBSYSTEM==