本文是概括版的hadoop安装心得,详细步骤大部分历史帖子都说明了。
安装环境:Windows10+centos7+vm14+hadoop3.0.3+java1.8
- 环境配置部分
虚拟机里的网络NAT,其实你装好了之后,Windows下使用ipconfig/all 会看到一个VMnet8网络,这里是设置好的网关。所以,设置集群静态IP时那个192.168.X.X是不能乱写的。然后,ping不通外网尽量重启虚拟机,甚至是台式机。
Vim 里面的命令wq是在esc键后取消insert状态先加冒号:才能用的(按i可以进入编辑状态)。不然你老是返回不了上一行。
配置环境里面##都是注释符号啊哥,看到这些你就是没写,例如Hadoop-env.sh里面
Centos里面装个Java和Windows一样的只是用命令行操作而已。在profile文件中,JAVA_HOME用绝对路径比较好。
长时间停在那不动,命令都会失效,vim等都说找不到。重新再来一遍
虚拟机不要直接关VM,会导致下一次开机界面黑屏,百度有解决方法,好像比较复杂。
#BOOTPROTO=dhcp 这句话,我是将一个虚拟机配好了再克隆的slave,但是克隆结果的这个属性是none的。无法上网。
SSH部分
rpm -qa | grep ssh%%%用来查看装了ssh没有(收藏夹里有个很详细的操作说明,)
今天下午发现了新的问题,那就是网关会跳,从192.168.74.2自己变成了192.168.74.1.并且手动的Ipv4也自己变成了自动DHCP。
只有master才需要格式化format NameNode。
webUI的实现需要把NameNode的结点及其tmp结点的数据文件放在不同于hadoop安装目录的文件夹里。不然会出现50070界面访问不了。
Hadoop3.0里面slaves变成了workers文件。这里不写的话workers会是默认值为localhost的。(这里很重要)