Hadoop生态配置文件

最新推荐文章于 2024-04-22 08:54:36 发布

「已注销」

最新推荐文章于 2024-04-22 08:54:36 发布

阅读量148

点赞数

分类专栏： Hadoop 快捷 linux

本文链接：https://blog.csdn.net/beatlinux/article/details/103259212

版权

linux 同时被 3 个专栏收录

15 篇文章

订阅专栏

Hadoop

6 篇文章

订阅专栏

快捷

3 篇文章

订阅专栏

本文详细介绍了Hadoop生态中的四个核心配置文件：core-site.xml, hdfs-site.xml, mapred-site.xml以及yarn-site.xml，同时还提到了在hadoop-env.sh中的设置，这些配置对于理解和优化Hadoop集群运行至关重要。" 114590973,10710025,边界值分析在软件测试中的应用,"['软件测试', '测试用例设计', '边界条件']

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

HADOOP配置文件

在这里插入图片描述
core-site.xml

<configuration>
        <property>
                <name>fs.defaultFS</name>
                <value>hdfs://test:9000</value>
        </property>
        <property>
                <name>hadoop.tmp.dir</name>
                <value>file:/opt/hadoop/tmp</value>
                <description>Abase for other temporary directories.</description>
        </property>
		<property>
    		<name>hadoop.proxyuser.root.hosts</name>
        	<value>*</value>
		</property>
		<property>
        	<name>hadoop.proxyuser.root.groups</name>
            <value>*</value>
        </property>
</configuration>

hdfs-site.xml

<configuration>
        <property>
                <name>dfs.namenode.secondary.http-address</name>
                <value>test:50090</value>
        </property>
        <property>
                <name>dfs.replication</name> <!--datanode数量(slave个数) -->
                <value>1</value>               
        </property>
        <property>
                <name>dfs.namenode.name.dir</name>
                <value>file:/opt/hadoop/tmp/dfs/name</value>
        </property>
        <property>
                <name>dfs.datanode.data.dir</name>
                <value>file:/opt/hadoop/tmp/dfs/data</value>
        </property>
</configuration>

mapred-site.xml

<configuration>
        <property>
                <name>mapreduce.framework.name</name>
                <value>yarn</value>
        </property>
        <property>
                <name>mapreduce.jobhistory.address</name>
                <value>test:10020</value>
        </property>
        <property>
                <name>mapreduce.jobhistory.webapp.address</name>
                <value>test:19888</value>
        </property>
</configuration>

yarn-site.xml

<configuration>
        <property>
                <name>yarn.resourcemanager.hostname</name>
                <value>test</value>
        </property>
        <property>
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
        </property>
</configuration>

在hadoop-env.sh中追加

export JAVA_HOME=/opt/java
#修改Hadoop远程登录端口
#export HADOOP_SSH_OPTS="-p 16022"