Linux从零到配置hadoop的流程

最新推荐文章于 2024-09-02 23:35:00 发布

「已注销」

最新推荐文章于 2024-09-02 23:35:00 发布

阅读量114

点赞数

文章标签： hadoop 大数据 linux

本文链接：https://blog.csdn.net/m0_59501411/article/details/132320666

版权

注：由于第一次自己手动安装hadoop，遇到了很多问题，大家遇到问题要耐心搜索，我在这上面也耗费了很多的时间，但功夫不负有心人，如果你完全按照我的流程来，也有可能遇到一些问题，因为每个人的电脑都不一样，下载的包也不一样，但只要最后的结果是好的，过程都是我们的经历罢了。

1.下载hadoop安装包

Index of /apache/hadoop/common/hadoop-3.3.1

2. 安装JDK

hadoop中jps的运行需要java环境。

输入java -version说明有jre

输入javac -version说明有jdk

vi ~/.bash_profile

插入下列代码：
export JAVA_HOME=/training/jdk
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar


注:JAVA_HOME需要是你jdk的包的位置

source ~/.bash_profile

JDK安装完毕！！！！

3.安装Hadoop

新建一个文件夹

修改hosts

移动hadoop-3.3.1

配置环境变量

hadoop-env.sh

bash_profile

vi ~/.bash_profile 

在文件中加入：
export HADOOP_HOME=/home/joe/Downloads/training/hadoop-3.3.1
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

生效：
source ~/.bash_profile

core-site.xml

加入下列代码：

<configuration>
   <property>
       <name>fs.defaultFS</name>
       <value>hdfs://localhost:9000</value>
   </property>
   <property>
       <name>hadoop.tmp.dir</name>
       <value>/opt/niit/hadoop-3.3.1/tmp</value>
   </property>
</configuration>

hdfs-site.xml

加入下列代码：

<configuration>
   <property>
       <name>dfs.name.dir</name>
       <value>/opt/niit/hadoop-3.3.1/dfs/name</value>
   </property>
   <property>
       <name>dfs.data.dir</name>
       <value>/opt/niit/hadoop-3.3.1/dfs/data</value>
   </property>
   <property>
       <name>dfs.replication</name>
       <value>3</value>
   </property>
   <property>
       <name>dfs.permissions</name>
       <value>false</value>
   </property>
</configuration>

mapred-site.xml

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

yarn-site.xml

<configuration>
   <property>
       <name>yarn.nodemanager.aux-services</name>
       <value>mapreduce_shuffle</value>
   </property>
</configuration>