1、安装vmware
2、装虚拟机 这里装的的centos7
3、装好虚拟机之后进行克隆
3.1修改主机名
克隆完之后首先修改主机名 使用命令vim /etc/hostname
,然后直接按i进入插入模式,输入你想要的主机名,之后按esc返回命令模式,输入:wq,之后输入reboot重启虚拟机,输入hostname即可查看主机名。
3.2为虚拟机配置静态ip
1、通过nat.conf查看mac本地网关和子网掩码,在mac终端使用命令查看mac本地网关和子网掩码,我的本地网关为172.16.201.2,子网掩码为255.255.255.0
more /Library/Preferences/VMware\ Fusion/vmnet8/nat.conf
2、通过dhcpd.conf文件,查看range区间,我本地是172.16.201.128 ~ 172.16.201.254,表示虚拟机静态ip可选范围
more /Library/Preferences/VMware\ Fusion/vmnet8/dhcpd.conf
3、本地DNS获取,系统偏好设置 ---> 网络 ---> 高级 ---> DNS
4、配置linux虚拟机网络配置,使用命令
vim /etc/sysconfig/network-scripts/ifcfg-ens33
将文件修改为图片所示:
IPADDR=172.16.201.131 GATEWAY=172.16.201.2 NETMASK=255.255.255.0 DNS1=202.114.0.131 DNS2=8.8.8.8
-
其中IPADDR不可超过可选范围(第二步已列出)
-
GATEWAY和NETWORK在第一步已列出
-
DNS可以设置两个,一个在第三步已列出,另一个就照图片上设置就行
3.3修改主机映射
vim \etc\hosts
。 将虚拟机的IP地址与其相应的主机名对应起来。
3.4全部设置好之后,重启linux虚拟机网络服务
systemctl restart network
ping www.baidu.com看看是否可以连通,然后ping 主机名看是否连通
4、下载jdk和hadoop
首先把jdk和hadoop的压缩包下载到自己电脑上,然后上传到虚拟机里面。
-
首先在root目录文件夹的上一层目录,也就是有home文件夹的那个文件夹,找到usr文件夹,在里面新建一个java文件夹,把jdk和Hadoop的压缩包都传到里面,之后进行解压缩。
tar -zxvf 压缩包的名字
-
之后要配置环境变量,具体操作可以看【CentOS7下安装Hadoop伪分布式教程】 CentOS7下安装Hadoop伪分布式教程_哔哩哔哩_bilibili
5、设置SSH无密码登录节点
-
ssh-keygen -t rsa 连按三次回车
-
ssh-copy-id hadoop100(这里是你的主机名,你有几个节点,就按照这个格式执行几次)
-
所有节点都执行一下上面两步操作
-
验证是否能够无密登陆 ssh hadoop101
6、配置jdk和Hadoop的环境变量
-
vim /etc/profile
在这个文件最后加上#jdk export JAVA_HOME=/opt/module/jdk(这个根据你装的jdk所在位置确定) export PATH=$JAVA_HOME/bin:$PATH export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
#hadoop export HADOOP_HOME=/opt/module/hadoop(这个根据你装的Hadoop所在位置确定) export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
7、hadoop重要文件配置
集群部署规划
8、hadoop与jdk的版本对应
hadoop-3.1.3 JDK 1.8
hadoop-2.10.2JDK 1.7 or 1.8
hadoop-2.9.2 JDK 1.7 or 1.8
hadoop-2.8.2 JDK 1.7+
hadoop-2.7.1 JDK 1.7+ 要选择对应的版本 血的教训啊
9、Web 端查看 HDFS 的 NameNode
如果想要在自己电脑上查看而不是虚拟机上,就需要使用ip地址+9870(即相应的端口号)
10、hadoop配置文件
-
首先cd进hadoop软件下的etc文件中的hadoop文件
-
vim hadoop-env.sh 在最后一行加入export JAVA_HOME=/opt/module/jdk
-
vim hdfs-site.xml
-
vim core-site.xml
-
vim yarn-site.xml
-
vim mapped-site.xml
11、rsync 远程同步工具
rsync 主要用于备份和镜像。具有速度快、避免复制相同内容和支持符号链接的优点。rsync 和 scp 区别:用 rsync 做文件的复制要比 scp 的速度快,rsync 只对差异文件做更新。scp 是把所有文件都复制过去。
12、关于本机不能打开web页面
如果上面检查都没有问题,自己还是无法打开web端界面,试一下在浏览器输入对应的
ip:post (如192.168.248.102:9870),如果可以打开web界面,则可能是因为你电脑上打开了外网的节点,把相应的工具退出去,重新打开web界面应该就可以。
———————————————— 版权声明:本文为CSDN博主「JeffchenITM」的原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接及本声明。 原文链接:hadoop的9870端口不能访问WEB界面的解决办法汇总_JeffchenITM的博客-CSDN博客_hadoop9870打不开
13、尚硅谷视频P31 运行wordcount后 web页面有wcouput但是里面没有数据
搜索后发现是虚拟内存超过限制
<property> <name>yarn.nodemanager.vmem-check-enabled</name> <value>false</value> </property>
14、xsync脚本和jpsall脚本所在位置
首先使用echo $PATH可以查看全局路径;
两个脚本位于 /root/bin
jpsall直接粘贴会出现bash: jps: command not found,此时可以将脚本中jps命令修改为绝对路径/opt/module/jdk/bin/jps