Apache Hadoop3.2.2与Spark3.0.0环境安装

boonya

已于 2024-09-19 13:57:46 修改

阅读量3.3k

点赞数 5

分类专栏：大数据 # Apache Spark # Hadoop 文章标签： Hadoop spark scala cenos8

于 2021-02-17 15:20:56 首次发布

本文链接：https://blog.csdn.net/boonya/article/details/113833831

版权

Hadoop hdfs核心配置start-dfs.sh和stop-dfs.sh

Hadoop yarn核心配置start-yarn.sh和stop-yarn.sh

基础环境说明

系统环境：centos8

主机名：www.boonya.cn

vi /etc/hosts

127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4 www.boonya.cn boonya.cn
::1   localhost localhost.localdomain localhost6 localhost6.localdomain6

JDK基础环境安装

下载并解压jdk8

直接官网下载： https://www.oracle.com/java/technologies/downloads/?er=221886

cd /usr/local

wget --no-cookies --no-check-certificate --header "Cookie: gpw_e24=http%3A%2F%2Fwww.oracle.com%2F; oraclelicense=accept-securebackup-cookie" "http://download.oracle.com/otn-pub/java/jdk/8u141-b15/336fa29ff2bb4ef291e347e091f7f4a7/jdk-8u141-linux-x64.tar.gz"

tar -zxvf jdk-8u141-linux-x64.tar.gz

mv jdk1.8.0_141 jdk

关于JDK目前暂时采用jk8。获得更多JDK版本可以关注微信订阅号：软件服务技术推进官 输入关键词 jdk 进行获取，提供了较新的jdk8环境包。

设置环境变量

##Java home
export JAVA_HOME=/usr/local/jdk
export JRE_HOME=$JAVA_HOME/jre
export CLASSPATH=$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH

更新环境配置

source /etc/profile

Hadoop环境安装

此篇以安装Hadoop伪分布式为例

下载并解压Hadoop3.2.2

cd /usr/local

wget https://mirrors.bfsu.edu.cn/apache/hadoop/common/hadoop-3.2.2/hadoop-3.2.2.tar.gz

tar -zxvf hadoop-3.2.2.tar.gz

设置环境变量

#hadoop home
export HADOOP_HOME=/usr/local/hadoop-3.2.2
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

更新环境配置

source /etc/profile

设置Hadoop JAVA_HOME

#hadoop-env.sh
vi hadoop-env.sh

export JAVA_HOME=/usr/local/jdk

Hadoop 核心配置文件设置

#core-site.xml
        <!-- 制定HDFS的老大（NameNode）的地址 -->
        <property>
            <name>fs.defaultFS</name>
            <value>hdfs://www.boonya.cn:9000</value>
        </property>
        <!-- 指定hadoop运行时产生文件的存储目录 -->
        <property>
            <name>hadoop.tmp.dir</name>
            <value>/usr/local/hadoop-3.2.2/tmp</value>
        </property>
        
#hdfs-site.xml
        <!-- 指定HDFS副本的数量 -->
        <property>
            <name>dfs.replication</name>
            <value>1</value>
        </property>
        
# mapred-site.xml

        <!-- 指定mr运行在yarn上 -->
        <property>
            <name>mapreduce.framework.name</name>