hadoop-env.sh文件研究

本文详细探讨了Hadoop的环境配置文件hadoop-env.sh,包括设置JAVA_HOME的重要性,HADOOP_CLASSPATH、HADOOP_HEAPSIZE等环境变量的作用。重点讲解了如何配置守护进程的JVM参数,如HADOOP_NAMENODE_OPTS、HADOOP_DATANODE_OPTS等,以及HADOOP_PID_DIR的安全性考虑。并给出了具体的JVM内存调优参数示例,如CMS收集器的配置。
摘要由CSDN通过智能技术生成

该文件的主要是配置hadoop的环境变量。例如守护进程的JVM启动参数:java堆大小和垃圾回收策略等。在这个文件中还可以设置HBase配置文件的目录、日志目录、SSH选项、进程pid文件的目录等。

# Set Hadoop-specific environment variableshere.

# The only required environment variable isJAVA_HOME.  All others are

# optional.  When running a distributed configuration it is best to

# set JAVA_HOME in this file, so that it is correctly defined on

# remote nodes.

export JAVA_HOME=”/usr/java/实际jdk路径”

JAVA_HOME是必须设置的,即使我们当前的系统中设置了JAVA_HOME,它也是不认识的,因为Hadoop即使是在本机上执行,它也是把当前的执行环境当成远程服务器。

export HADOOP_CLASSPATH=

# Extra Java CLASSPATH elements. 这个环境变量是hadoop执行程序时会查询class的路径。

这个是可选的。

export HADOOP_HEAPSIZE=2000

# The maximum amount of heap to use, in MB.Default is 1000.

hadoop为各个守护进程(namenode,secondarynamenode,jobtracker,datanode,tasktracker)统一分配的内存,默认为1000M。大部分情况下,这个统一设置的值可能并不适合。可以单独设置namenode的内存,通过HADO

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值