Hadoop 超简单配置

最新推荐文章于 2024-10-04 18:47:42 发布

Ididcan

最新推荐文章于 2024-10-04 18:47:42 发布

阅读量2.4k

点赞数 1

分类专栏： Hadoop 文章标签： hadoop java 存储

本文链接：https://blog.csdn.net/ididcan/article/details/7831405

版权

Hadoop 专栏收录该内容

3 篇文章 0 订阅

订阅专栏

下载一个hadoop版本，本人从官网上下载最新的版本hadoop-1.0.3。

本人将压缩包放置于到用户目录下 /home/username/

tar -xzvf hadoop-x.y.z-bin.tar.gz

进入hadoop-1.0.3/conf 目录，改写配置文件

hadoop-env.sh 配置java运行路径

export JAVA_HOME=/usr/lib/jvm/java-6-openjdk

core-site.xml

<configuration>
        <property>
                <name>fs.default.name</name>
        <!--配置hdfs-->
                <value>hdfs://localhost:9000</value>
    </property>
    <property>
        <!--很重要，如过不配置该值，那么每次重启hadoop由于其临时路径存储在/tmp/hadoop-${user.name}, 由于每次退出系统，在启动hadoop时候由于创建该目录需要权限，因此在启动之前要对namenode进行format（hadoop namenode -format），但是每次都要手动执行该命令。配置了该路径之后由于该目录不会被删除，因此也不用每次执行format命令。-->
        <name>hadoop.tmp.dir</name><value>/home/solidfish/Data/hadoop/hadoop-${user.name}</value>
        <description>A base for other temporary directories.</description> 
    </property>
    <property>
        <name>dfs.name.dir</name>
        <value>/home/solidfish/Data/hadoop/name/data</value>
    </property>
</configuration>

hdfs-site.xml

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->

<configuration>
        <property>
                <name>dfs.replication</name>
                <value>1</value>
        </property>
</configuration>

mapred-site.xml

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->

<configuration>
        <property>
                <name>mapred.job.tracker</name>
                <value>localhost:9001</value>
        </property>
</configuration>