#配置虚拟机网络
[我们这里用的是VMnet8 所谓的NAT模式]
点击编辑 ->虚拟网络设置->VMnet8->更改设置
[我这是win10的情况下 win11可能有点不一样]
右击WIFI点击打开网络和internet设置
点击更改适配器选项
找到VMware Network Adapter VMnet8
右击属性点击Internet 协议版本 4(TCP/IPv4)
Linux修改网络配置
vi /etc/sysconfig/network-scripts/ifcfg-eng33
TYPE=Ethernet
PROXY_METHOD=none
BROWSER_ONLY=no
BOOTPROTO=static
DEFROUTE=yes
IPV4_FAILURE_FATAL=no
IPV6INIT=yes
IPV6_AUTOCONF=yes
IPV6_DEFROUTE=yes
IPV6_FAILURE_FATAL=no
IPV6_ADDR_GEN_MODE=stable-privacy
NAME=ens33
UUID=12df9c13-c591-4196-ac6e-805c9dd57e13
DEVICE=ens33
ONBOOT=yes
IPADDR=192.168.10.24
NETMASK=255.255.255.0
GATEWAY=192.168.10.2
DNS1=192.168.10.2
DBS2=8.8.8.8
#修改 BOOTPROTO=static 默认可能是dhcp 动态ip
DNBOOT=yes
IPADDR=192.168.10.24
NETMASK=255.255.255.0
GATEWAY=192.168.10.2
DNS1=192.168.10.2
DNS2=8.8.8.8
#使得ip修改生效 重启网络
systemctl restart network
#验证
ping www.baidu.com
#查看ip地址
ip addr
关闭selinux防火墙
# 关闭防火墙
systemctl stop firewalld //停止firewalld防火墙
systemctl disable firewalld //关闭防火墙开机自启动
systemctl status firewalld //查看防火墙状态
vi /etc/sysconfig/selinx
SELINUX=disabled
设置主机名
homenamectl set-hostname hadoop100
查看主机名
hostname
[会出现修改的主机名]
Linux ip主机映射
vi /etc/hosts
ip hostname
windows主机映射
C:\Windows\System32\drivers\etc\hosts
新建安装包文件夹 软件文件夹
mkdir opt/software opt/module
使用xftp /winscp/rz等 上传文件
使用xshell等工具连接虚拟机
#这是基于rpm的安装方式
安装配置jdk
#rpm -ivh jdk-8u281-linux.x64.rpm
配置环境变量
#export JAVA_HOME=/usr/java/jdk1.8.0_281-amd64
#export CLASSAATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib.tools.jar
#export PATH=$JAVA_HOME/bin
#这是基于tar.gz安装
tar -zxf opt/software/jdk-8u261-linux-x64.tar.gz
export JAVA_HOME=/opt/module/jdk1.8.0_261
CLASSPATH=.:$JAVA_HOME/lib.tools.jars
PATH=$JAVA_HOME/bin:$PATH
export JAVA_HOME CLASSPATH PATH
使得环境变量生效
source /etc/profile
查看jdk环境变量是否配置正确
javac -version
java -version
安装配置hadoop
tar -zxvf /opt/software/hadoop-3.1.4.tar.gz -C /opt/module
/配置环境变量
export HADOOP_HOME=/opt/module/hadoop-3.1.4
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
使得环境变量生效
source /etc/profile
查看hadoop环境变量是否配置正确
hadoop version
配置hadoop-env.sh
HDFS_NAMENODE_USER=root
HDFS_DATANODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root
export JAVA_HOME=/opt/module/jdk1.8_261
配置core-site.xml
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://hadoop100:9000</value>
</property>
</configuration>
配置hdfs-site.xml
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
免密操作
ssh-keygen -t rsa 一路回车
公钥和私钥
id_rsa 和 id_rsa.pub,其中 id_rsa 是私钥(客户端使用),id_rsa.pub 这个是公钥(服务器使用)
然后进行ssh-copy-id hadoop100
格式化文件系统
hdfs namenode -format
查看进程
jps
启动NameNode DataNode
start-dfs.sh
YARN 配置
配置yarn-site.xml
<configuration>
<!-- Site specific YARN configuration properties -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.env-whitelist</name>
<value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
</property>
</configuration>
配置mapred-site.xml
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>mapreduce.application.classpath</name>
<value>$HADOOP_MAPRED_HOME/share/hadoop/mapreduce/*:$HADOOP_MAPRED_HOME/share/hadoop/mapreduce/lib/*</value>
</property>
</configuration>
hadoop-env.sh
YARN_RESOURCEMANAGER_USER=root
YARN_NODEMANAGER_USER=root
查看进程
jps
查看YARN Web hadoop100:8088
习题
hadoop jar hadoop-mapreduce-examples-3.1.4.jar pi 10 20
新建目录
hdfs dfs -mkdir input
将本地文件上传到HDFS路径
hdfs dfs -put etc/hadoop/.*xml input
hdfs dfs -put /opt/module/hadoop-3.1.4/etc/hadoop/*.xml input
查看目录下内容
hdfs dfs -ls input
运行程序
bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.4.jar grep input output 'dfs[a-z.]+'
hdfs dfs -ls /user/root/output
/user/root/out/_SUCCESS 运行成功标志
/user/root/out/part-r-00000 结果
查看结果
hdfs dfs -cat /user/root/output/part-r-00000
删除
hdfs dfs -rm -r hdfs://hadoop100:9000/user/root/output