Hadoop安装（单机）

最新推荐文章于 2024-11-14 10:09:54 发布

W1ngman_

最新推荐文章于 2024-11-14 10:09:54 发布

阅读量105

点赞数

分类专栏：配置文章标签： hadoop

本文链接：https://blog.csdn.net/W1ngman_/article/details/116275512

版权

配置专栏收录该内容

3 篇文章 0 订阅

订阅专栏

文中hadoop100为我自己的主机名

添加hadoop安装包
解压
tar -zxvf hadoop-2.6.0-cdh5.14.2.tar.gz
改名
mv hadoop-2.6.0-cdh5.14.2 hadoop
修改配置文件
cd etc/hadoop
vi hadoop-env.sh

添加自己的jdk位置
保存退出
vi core-site.xml

<property>
<name>fs.defaultFS</name>
<value>hdfs://自己主机的IP:9000</value>
</property>
<property>//临时文件的目录
   <name>hadoop.tmp.dir</name>
   <value>/root/software/hadoop/tmp</value>
</property>
<property>
   <name>hadoop.proxyuser.root.hosts</name>
   <value>*</value>
 </property>
<property>
   <name>hadoop.proxyuser.root.groups</name>
   <value>*</value>
 </property>

vi hdfs-site.xml

<property>//免密登录
  <name>dfs.replication</name>
  <value>1</value>
</property>
<property>
     <name>dfs.namenode.secondary.http-address</name>
    <value>hadoop100:50090</value>
</property>

保存退出
此时输入ssh 主机名可免密登录
7. vi mapred-site.xml.templat

<property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
</property>

保存退出
输入mv mapred-site.xml.template mapred-site.xml改名

vi yarn-site.xml

<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
</property>
<property>
    <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
    <value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
<property>
    <name>yarn.resourcemanager.hostname</name>
    <value>hadoop100</value>
</property>

vi /etc/profile

export HADOOP_HOME=/root/software/hadoop
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"
export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH