除了映射名之外没啥要注意的~
workers
hadoop102
hadoop103
hadoop104
workers要留意留的是映射名,不能有空格和空行,不然hadoop会读进去的,然后如果后期要添加节点就需要在workers里添加对应的映射也好ip也好,不然你的集群咋知道谁是自己人。
配置完成之后,在格式化namenode之前一定要拍快照!!!!
配置完成之后,在格式化namenode之前一定要拍快照!!!!
配置完成之后,在格式化namenode之前一定要拍快照!!!!
重要的事情说三遍
如果你格式化出问题了,需要把hadoop文件夹里的data文件夹和logs文件夹删掉,然后再去修改问题,然后再格式化。
千万不要出了错还疯狂格式化,那样一定会不行的,一定要删掉hadoop文件夹下的data和logs才行
当然不排除别的问题,所以我才说在格式化前一定要拍快照
格式化之后就是在hadoop102启动hdfs
然后再hadoop103启动yarn,注意哦,是hadoop103,不要搞错了
然后编写群起脚本,hadoop就算完成了。
如果你是服务都起来了,但是web网页进不去,比如hadoop102:9870啥的
1.查看虚拟机的防火墙关了没,然后检查你的主机能不能ping通虚拟机,反过来行不行(一般不是这个问题,不然xshell都用不了)
2.查看win系统里的映射配置了没,因为hadoop102还是映射名,你在win里使用需要配置,如果不配置的话直接用ip也可以,我的是192.168.10.102.
至于去哪里配置,C:\Windows\System32\drivers\etc\hosts
如果说权限有问题修改不了,你就把他复制到桌面上修改了,再粘回去覆盖掉
然后就是配置zookeeper和kafka了,这个没啥难度,跟着视频来就行。
只有一点要注意就是,关闭zookeeper和kafka的时候要先关闭kafka,不然如果先关闭的zookeeper,你的kafka就不能通过正常的命令来关闭了,只能直接强行kill -9了
今天我就搞到了这里,明天继续来更新~
day3
2023/5/10
各位,我来啦!今天锻炼花的时间久了点。
今天总共学了5h,视频看到了p36的一半,成功安装了mysql flume maxwell
然后按照视频的顺序我说一下自己碰到的问题以及解决方式
1.
flume 在idea里编辑代码