hadoop 临时目录

最新推荐文章于 2022-09-28 01:08:10 发布

一只小菜鸟(*￣︶￣)

最新推荐文章于 2022-09-28 01:08:10 发布

阅读量1.3k

点赞数 2

分类专栏： Hadoop 文章标签： hadoop 临时目录批量创建符号链接

本文链接：https://blog.csdn.net/mao502010435/article/details/87621894

版权

Hadoop 专栏收录该内容

22 篇文章 0 订阅

订阅专栏

本文详细介绍Hadoop集群的搭建步骤，包括配置core-site.xml文件，设置HDFS默认路径及临时目录，分发配置文件，格式化文件系统，启动Hadoop服务，以及在所有节点上创建jps符号链接，确保集群正常运行。

摘要由CSDN通过智能技术生成

1.配置[core-site.xml]文件

<configuration>
			<property>
					<name>fs.defaultFS</name>
					<value>hdfs://s201/</value>
			</property>
			<!--- 配置新的本地目录 -->
			<property>
					<name>hadoop.tmp.dir</name>
					<value>/home/centos/hadoop</value>
			</property>
</configuration>

//以下属性均由hadoop.tmp.dir决定,在hdfs-site.xml文件中配置。
   dfs.namenode.name.dir=file://${hadoop.tmp.dir}/dfs/name
   dfs.datanode.data.dir=file://${hadoop.tmp.dir}/dfs/data
   dfs.datanode.data.dir=file://${hadoop.tmp.dir}/dfs/data

dfs.namenode.checkpoint.dir=file://${hadoop.tmp.dir}/dfs/namesecondary
dfs.namenode.checkpoint.dir=file://${hadoop.tmp.dir}/dfs/namesecondary

2.分发core-site.xml文件

xsync core-site.xml

3.格式化文件系统,只对namenode的本地目录进行初始化

hadoop namenode -format

4.启动hadoop

start-dfs.sh

完成临时目录设置。

使用xcall.sh在所有节点上创建jps符号连接，指向/soft/jdk/bin/jps
------------------------------------------------------------------
   1.切换到root用户
       $>su root
   2.创建符号连接
       $>xcall.sh "ln -sfT /soft/jdk/bin/jps /usr/local/bin/jps"
   3.修改jps符号连接的owner
       $>xcall.sh "chown -h centos:centos /usr/local/bin/jps"
   4.查看所有主机上的java进程
       $>xcall.sh jps