ubuntu14.04 安装hadoop 2.6.0小结

最新推荐文章于 2023-01-30 17:00:27 发布

昵称诚诚

最新推荐文章于 2023-01-30 17:00:27 发布

阅读量727

点赞数

分类专栏： datamining 文章标签： hadoop 伪分布模式安装

本文链接：https://blog.csdn.net/jobschen/article/details/45392199

版权

datamining 专栏收录该内容

3 篇文章 0 订阅

订阅专栏

本人是在windows8下用virtualbox 虚拟的ubuntu server14.04
hadoop 版本为 2.6.0，模式是伪分布模式。jdk版本为jdk 1.7.0_79

安装过程中总是碰到教程上不会出现的问题，下面就总结下主要步骤，以及安装配置过程中遇到的问题。

安装jdk，配置JAVA_HOME,最好直接配置在/etc/profile 或其他shell启动文件里，这样可以后面不用更改hadoop安装目录/etc/hadoop/hadoop-env.sh文件里的JAVA_HOME配置
配置hadoop 安装目录
最好也配置在etc/profile或其他shell启动文件里

export HADOOP_INSTALL=/opt/hadoop-2.6.0(你自己的安装目录)
export PATH= $PATH:$ HADOOP_INSTALL/bin:$HADOOP_INSTALL/sbin
这时用hadoop version就可以看一下hadoop是否可用了

二、配置
hadoop 的各个组件均可利用xml文件进行配置。
core-site.xml文件用于配置通过属性
hdfs-site.xml文件用于配置HDFS属性
mapred-site.xml文件则用于配置MapReduce属性
这些文件在hadoop2.6.0中位于etc/hadoop/ 子目录下（2.0以后版本运行在YARN上，有一个额外的配置文件yarn-site.xml, 2.0之前在conf子目录下）

Hadoop 有三种运行模式：
1. 独立（或本地）模式
2. 伪分布模式
3. 全分布模式
这里就主要讲下伪分布模式的配置：
分别配置上述提到4 个文件

core-site.xml

> <?xml version="1.0" encoding="UTF-8"?> <configuration>
>         <property>
>                 <name>fs.default.name</name>
>                 <value>hdfs://localhost/</value>
>         </property> </configuration>

hdfs-site.xml

<configuration>
        <property>
                <name>dfs.replication</name>
                <value>1</value>
        </property>
</configuration>

mapred-site.xml(这个暂时不忒确定要不要，etc/hadoop/下面本只有mapred-site.xml.template，需要自己copy一下改成mapred-site.xml)

<configuration>
        <property>
                <name>mapred.job.tracker</name>
                <value>localhost:8021</value>
        </property>
</configuration>

因为要运行YARN，所以也要配置一下
yarn-site.xml

<configuration>
<property>
  <name>yarn.resourcemanager.address</name>
  <value>localhost:8032</value>
</property>
<property>
  <name>yarn.nodemanager.aux-services</name>
  <value>mapreduce.shuffle</value>
</property>
</configuration>