title: Hadoop中需要哪些配置文件,其作用是什么?
date: 2020-05-15 02:45:51
tags:
窍 诀 : 遇 到 e n v 就 是 J A V A H O M E 窍诀:遇到 env 就是 JAVA_HOME 窍诀:遇到env就是JAVAHOME
1)core-site.xml:
(1)fs.defaultFS:hdfs://cluster1(域名),这里的值指的是默认的 HDFS 路径 。
(2)hadoop.tmp.dir:/export/data/hadoop_tmp,这里的路径默认是 NameNode、DataNode、secondaryNamenode 等存放数据的公共目录。用户可以自己单独指定这三类节点的目录。
(3)ha.zookeeper.quorum:hadoop101:2181,hadoop102:2181,hadoop103:2181,这里的 ZooKeeper 集群的地址和端口。注意,数量一定是奇数,且不少于三个节点。
2)hadoop-env.sh:
只需设置 jdk 的安装路径,如:export JAVA_HOME=/opt/module/jdk1.8.0_144
3)hdfs-site.xml:
(1)dfs.replication:它决定着系统里面的文件块的数据备份个数,默认为3个。
(2)dfs.data.dir:datanode 节点储存在文件系统的目录。
(3)dfs.name.dir:是 namenode 节点存储 hadoop 文件系统信息的本地系统路径。
4)mapred-site.xml:
mapreduce.framework.name: yarn 指定 mr 运行在 yarn 上。