Hadoop3单机安装部署

风跟我说过她

已于 2024-04-20 11:27:24 修改

阅读量1.4k

点赞数 35

分类专栏：大数据环境搭建文章标签： hadoop 大数据

于 2024-04-19 09:14:43 首次发布

本文链接：https://blog.csdn.net/qq_57629629/article/details/137949394

版权

大数据环境搭建专栏收录该内容

2 篇文章 0 订阅

订阅专栏

#配置虚拟机网络

[我们这里用的是VMnet8 所谓的NAT模式]

点击编辑 ->虚拟网络设置->VMnet8->更改设置

[我这是win10的情况下 win11可能有点不一样]

右击WIFI点击打开网络和internet设置

点击更改适配器选项

找到VMware Network Adapter VMnet8

右击属性点击Internet 协议版本 4(TCP/IPv4)

Linux修改网络配置

vi /etc/sysconfig/network-scripts/ifcfg-eng33

TYPE=Ethernet

PROXY_METHOD=none

BROWSER_ONLY=no

BOOTPROTO=static

DEFROUTE=yes

IPV4_FAILURE_FATAL=no

IPV6INIT=yes

IPV6_AUTOCONF=yes

IPV6_DEFROUTE=yes

IPV6_FAILURE_FATAL=no

IPV6_ADDR_GEN_MODE=stable-privacy

NAME=ens33

UUID=12df9c13-c591-4196-ac6e-805c9dd57e13

DEVICE=ens33

ONBOOT=yes

IPADDR=192.168.10.24

NETMASK=255.255.255.0

GATEWAY=192.168.10.2

DNS1=192.168.10.2

DBS2=8.8.8.8

#修改 BOOTPROTO=static 默认可能是dhcp 动态ip

DNBOOT=yes

IPADDR=192.168.10.24

NETMASK=255.255.255.0

GATEWAY=192.168.10.2

DNS1=192.168.10.2

DNS2=8.8.8.8

#使得ip修改生效重启网络

systemctl restart network

#验证

ping www.baidu.com

#查看ip地址

ip addr

关闭selinux防火墙

# 关闭防火墙

systemctl stop firewalld //停止firewalld防火墙

systemctl disable firewalld //关闭防火墙开机自启动

systemctl status firewalld //查看防火墙状态

vi /etc/sysconfig/selinx

SELINUX=disabled

设置主机名

homenamectl set-hostname hadoop100

查看主机名

hostname

[会出现修改的主机名]

Linux ip主机映射

vi /etc/hosts

ip hostname

windows主机映射

C:\Windows\System32\drivers\etc\hosts

新建安装包文件夹软件文件夹

mkdir opt/software opt/module

使用xftp /winscp/rz等上传文件

使用xshell等工具连接虚拟机

#这是基于rpm的安装方式

安装配置jdk

#rpm -ivh jdk-8u281-linux.x64.rpm

配置环境变量

#export JAVA_HOME=/usr/java/jdk1.8.0_281-amd64

#export CLASSAATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib.tools.jar

#export PATH=$JAVA_HOME/bin

#这是基于tar.gz安装

tar -zxf opt/software/jdk-8u261-linux-x64.tar.gz

export JAVA_HOME=/opt/module/jdk1.8.0_261

CLASSPATH=.:$JAVA_HOME/lib.tools.jars

PATH=$JAVA_HOME/bin:$PATH

export JAVA_HOME CLASSPATH PATH

使得环境变量生效

source /etc/profile

查看jdk环境变量是否配置正确

javac -version

java -version

安装配置hadoop

tar -zxvf /opt/software/hadoop-3.1.4.tar.gz -C /opt/module

/配置环境变量

export HADOOP_HOME=/opt/module/hadoop-3.1.4

export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

使得环境变量生效

source /etc/profile

查看hadoop环境变量是否配置正确

hadoop version

配置hadoop-env.sh

HDFS_NAMENODE_USER=root

HDFS_DATANODE_USER=root

HDFS_SECONDARYNAMENODE_USER=root

export JAVA_HOME=/opt/module/jdk1.8_261

配置core-site.xml

<configuration>

<property>

        <name>fs.defaultFS</name>

        <value>hdfs://hadoop100:9000</value>

    </property>

</configuration>

配置hdfs-site.xml

<configuration>

 <property>

        <name>dfs.replication</name>

        <value>1</value>

    </property>

</configuration>

免密操作

ssh-keygen -t rsa 一路回车

公钥和私钥

id_rsa 和 id_rsa.pub，其中 id_rsa 是私钥(客户端使用)，id_rsa.pub 这个是公钥(服务器使用)

然后进行ssh-copy-id hadoop100

格式化文件系统

hdfs namenode -format

查看进程

jps

启动NameNode DataNode

start-dfs.sh

YARN 配置

配置yarn-site.xml

<configuration>

<!-- Site specific YARN configuration properties -->

<property>

        <name>yarn.nodemanager.aux-services</name>

        <value>mapreduce_shuffle</value>

    </property>

    <property>

        <name>yarn.nodemanager.env-whitelist</name>

<value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>

    </property>

</configuration>

配置mapred-site.xml

<configuration>

    <property>

        <name>mapreduce.framework.name</name>

        <value>yarn</value>

    </property>

    <property>

        <name>mapreduce.application.classpath</name>

<value>$HADOOP_MAPRED_HOME/share/hadoop/mapreduce/*:$HADOOP_MAPRED_HOME/share/hadoop/mapreduce/lib/*</value>

    </property>

</configuration>

hadoop-env.sh

YARN_RESOURCEMANAGER_USER=root

YARN_NODEMANAGER_USER=root

查看进程

jps