Linux下hadoop相关配置

Linux下hadoop相关配置

Linux下做免密登录

ssh-keygen -t rsa

cd ~/.ssh
cat id_rsa.pub>>authorized_keys

hadoop 环境变量配置

vim /etc/profile.d/myenv.sh

#hadoop
export HADOOP_HOME=/opt/software/hadoop313
export PATH=$HADOO{P}_{H}OME/bin:$HADOOP_HOME/sbin:$PATH
export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root

core-site.xml

<configuration>
<property>
    <!--配置namenode的地址-->
    <name>fs.defaultFS</name>
    <value>hdfs://192.168.131.200:9820</value>
</property>
<property>
    <!--配置数据存储目录-->
    <name>hadoop.tmp.dir</name>
    <value>/opt/software/hadoop313/data</value>
</property>
<property>
    <!--配置HDFS网页登录使用的静态用户为root-->
    <name>hadoop.http.staticuser.user</name>
    <value>root</value>
</property>
<property>
	<!--配置root(超级用户)允许通过代理访问的主机节点-->
	<name>hadoop.proxyuser.root.hosts</name>
	<value>*</value>
</property>
<property>
	<!--配置root(超级用户)允许通过代理用户所属组-->
	<name>hadoop.proxyuser.groups</name>
	<value>*</value>
</property>
<property>
	<!--配置root(超级用户)允许通过代理的用户-->
	<name>hadoop.proxyuser.root.user</name>
	<value>*</value>
</property>
</configuration>

hdfs-site.xml

<configuration>
	<!--配置namenode web访问地址-->
	<property>
		<name>dfs.namenode.http-address</name>
		<value>192.168.131.200:9870</value>
	</property>
	<!--配置sencondary namenode web访问地址-->
 	<property>
                <name>dfs.namenode.secondary.http-address</name>
                <value>192.168.131.200:9868</value>
        </property>
	<!--配置hdfs副本数量-->
	 <property>
                <name>dfs.replication</name>
                <value>1</value>
	 </property>
</configuration>

yarn-site.xml

<configuration>
	<!--配置mr的执行方式-->
	<property>
		<name>yarn.nodemanager.aux-services</name>
		<value>mapreduce_shuffle</value>
	</property>
	<!--配置ResourceManager的地址-->
	<property>
		<name>yarn.resourcemanager.hostname</name>
		<value>test</value>
	</property>
	<!--配置环境变量的继承-->
	<property>
		<name>yarn.nodemanager.env-whitelist</name>
		<value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,
		HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
	</property>
	<!--yarn容器允许分配的最小内存-->
	<property>
		<name>yarn.scheduler.minimum-allocation-mb</name>
		<value>1536</value>
	</property>
	<!--yarn容器允许分配的最大内存-->
	<property>
		<name>yarn.scheduler.maximum-allocation-mb</name>
		<value>1536</value>
	</property>
	<!--yarn容器允许管理的物理内存大小-->
	<property>
		<name>yarn.nodemanager.resource.memory-mb</name>
		<value>1536</value>
	</property>
	<!--配置关闭yarn对物理内存和虚拟内存的限制检查，
	     	jdk8运行于centos6以上版本会导致虚拟内存过大-->
	<property>
		<name>yarn.nodemanager.pmem-check-enabled</name>
		<value>false</value>
	</property>
	<!--配置关闭yarn对物理内存和虚拟内存的限制检查-->
	<property>
		<name>yarn.nodemanager.vmem-check-enabled</name>
		<value>false</value>
	</property>
	<!--开启日志聚集-->
	<property>
		<name>yarn.log-aggregation-enable</name>
		<value>true</value>
	</property>
	<!--配置日志聚集服务器地址-->
	<property>
		<name>yarn.log.sever.url</name>
		<value>http://192.168.131.200:19888/jobhistory/logs</value>
	</property>
	<!--配置日志保留时间为7天-->
	<property>
		<name>yarn.log-aggregation.retain-seconds</name>
		<value>604800</value>
	</property>
</configuration>

mapred-site.xml

<configuration>
	<!--配置mapreduce运行于yarn上：默认为local，也可以指定spark阶段了解的mesos-->
	<property>
		<name>mapreduce.framework.name</name>
		<value>yarn</value>
	</property>
	<!--配置历史服务器地址-->
	<property>
		<name>mapreduce.jobhistory.address</name>
		<value>192.168.131.200:10020</value>
	</property>
	<!--配置历史服务器web段地址-->
	<property>
		<name>mapreduce.jobhistory.webapp.address</name>
		<value>192.168.131.200:19888</value>
	</property>
</configuration>

启动服务

start-all.sh

hadoop/dfs/name/current 中的current存在， 则为服务真的起来了