Hadoop集群的配置参数实在是太多了,作为初学者,可以先不用管这些参数代表什么意思,也不需要深究每一个参数该如何配置。一般网上搭建环境的教程一搜一大堆,跟着配置一下,让集群先运行起来。之后,在操作的过程中,你可以进一步熟悉Hadoop的工作原理,hdfs文件系统的操作命令等。Hadoop集群配置的参数实在太多了,先列个目录整理下用到的参数,后面有继续用到的,再接着补充。此篇为core-site.xml参数配置。
一、如何查看集群配置完整的参数
默认情况下,这些配置文件都是空的,所以很难知道这些配置文件中有哪些参数配置可以生效。网上的教程上的参数可能因为hadoop版本不一样而导致参数无法生效,所以配置的时候看好浏览教程的hadoop版本。浏览更多的配置,提供两个方法:
1.选择相应版本的hadoop,下载解压后,搜索*.xml,找到core-default.xml,hdfs-default.xml,mapred-default.xml,
这些就是默认配置,可以参考这些配置的说明和key,配置hadoop集群。例如core-default.xml(里面参数太多了,截个图。你可以读取出来后用关键字查找你想查看的。)