hadoop伪分布式安装

最新推荐文章于 2023-04-11 11:00:02 发布

习惯de味道

最新推荐文章于 2023-04-11 11:00:02 发布

阅读量245

点赞数 2

分类专栏： hadoop 文章标签： hadoop linux 大数据

本文链接：https://blog.csdn.net/timicai/article/details/108397763

版权

hadoop 专栏收录该内容

5 篇文章 0 订阅

订阅专栏

前提：安装配置jdk环境
下附hadoop链接：
https://pan.baidu.com/s/1obYVlBThw2jFX2f75VHR3g
提取码: 3m6c

配置免密登录和主机名

添加免密登录输入：ssh-keygen 之后一顿回车
拷贝密钥到公钥，输入：cat /root/.ssh/id_rsa.pub >> /root/.ssh/authorized_keys
配置主机名，输入：hostnamectl set-hostname 主机名
配置完成后需要exit重启一下

安装配置hadoop

上传hadoop安装包并解压到opt目录
配置环境变量

export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_INSTALL=$HADOOP_HOME

保存环境变量输入：source /etc/profile
切换目录，输入：cd /opt/hadoop/etc/hadoop
修改配置
输入：vi core-site.xml

<property>
  <name>fs.defaultFS</name>
  <value>hdfs://IP地址:9000</value>
</property>
<property>
   <name>hadoop.tmp.dir</name>
   <value>/opt/hadoop/tmp</value>
</property>
<property>
   <name>hadoop.proxyuser.root.hosts</name>
   <value>*</value>
</property>
<property>
   <name>hadoop.proxyuser.root.groups</name>
   <value>*</value>
</property>
<property>
   <name>hadoop.native.lib</name>
   <value>false</value>
   <description>
        Should native hadoop libraries, if present, be used.
   </description>
</property>

在这里插入图片描述

输入：vi hadoop-env.sh
在export前加#
下行插入

export JAVA_HOME=/opt/jdk8

输入：vi hdfs-site.xml

<property>
  <name>dfs.replication</name>
  <value>1</value>
</property>
<property>
  <name>dfs.namenode.secondary.http-address</name>
  <value>IP地址:50090</value>
</property>

在这里插入图片描述

输入：mv mapred-site.xml.template mapred-site.xml 修改mapred-site.xml.tempalte 的文件名
输入：vi mapred-site.xml

  <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
  </property>
  <property>
        <name>mapreduce.jobhistory.address</name>
        <value>IP地址:10020</value>
  </property>
  <property>
        <name>mapreduce.jobhistory.webapp.address</name>
        <value>IP地址:19888</value>
  </property>

在这里插入图片描述

输入：vi yarn-site.xml

<!-- reducer获取数据方式 -->
<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
</property>
<property>
    <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
    <value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
<!-- 指定YARN的ResourceManager的地址 -->
<property>
    <name>yarn.resourcemanager.hostname</name>
    <value>hadoop02(填写自己的主机名)</value>
</property>
<!-- 日志聚集功能使用 -->
<property>
    <name>yarn.log-aggregation-enable</name>
    <value>true</value>
</property>
<!-- 日志保留时间设置7天 -->
<property>
    <name>yarn.log-aggregation.retain-seconds</name>
    <value>604800</value>
</property>