apache hadoop单机版standalone

最新推荐文章于 2023-11-09 22:16:50 发布

Andychau2015

最新推荐文章于 2023-11-09 22:16:50 发布

阅读量183

点赞数

分类专栏：大数据文章标签： hadoop standalone 单机

本文链接：https://blog.csdn.net/andychau2015/article/details/89945526

版权

大数据专栏收录该内容

13 篇文章 1 订阅

订阅专栏

version: hadoop 2.7.1

hadoop-env.sh
export JAVA_HOME=/usr/software/jdk1.8.0_51
export HADOOP_CONF_DIR=/usr/software/hadoop-2.7.1/etc/hadoop
分别修改系统JDK和HADOOP路径

core-site.xml
<property>
<!--指定HDFS的主节点-->
<name>fs.defaultFS</name>
<value>hdfs://hadoop:9000</value> 
</property>
<property>
<!--指定HDFS中的记录数据的目录，如果不配置，默认在/tmp-->
<name>hadoop.tmp.dir</name>
<value>/usr/software/hadoop-2.7.1/tmp</value>
</property>

hdfs-site.xml
<property>
<!--设置复本数量，默认为3，但是在伪分布式下，必须设置>为1-->
<name>dfs.replication</name>
<value>1</value>
</property>

mapred-site.xml
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>

slave
hadoop
从机服务器名字，记得先修改/etc/hosts里的IP和别名，然后修改本机命令为：
hostname hadoop

yarn-site.xml
yarn RM服务器名字
<property>
<name>yarn.resourcemanager.hostname</name>
<value>hadoop</value>
</property>

调用mapreduce_shuffle
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>

配置YARN调度器，这里用先进先出，如果不配，默认为共享调度器
<property>
<name>yarn.resourcemanager.scheduler.class</name>
<value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.fifo.FifoScheduler</value>

监控内存，可以换成不检测虚拟内存 yarn.nodemanager.vmem-check-enabled 值为false
</property>
<property>
<name>yarn.nodemanager.vmem-pmem-ratio</name>
<value>10</value>
</property>

当NODEMANAGER用完后多少秒删除
<property>
<name>yarn.nodemanager.delete.debug-delay.sec</name>
<value>86400</value>
</property>