修改hdfs和yarn的pid文件位置

最新推荐文章于 2024-05-03 16:57:00 发布
最新推荐文章于 2024-05-03 16:57:00 发布
阅读量854 收藏 2
点赞数
分类专栏： hadoop
原文链接：https://blog.csdn.net/qq_37408712/article/details/80954615
版权

https://blog.csdn.net/qq_37408712/article/details/80954615

由于启动hdfs和yarn时，它们的pid文件默认生成在/tmp下，/tmp内的数据一段时间后会被系统自动删除，而关闭hdfs和yarn又需要它们各自的pid文件

因此为了避免hdfs长期未关闭后，使用脚本关闭hdfs和yarn时会报错
no namenode/nodemanager/XXXX to stop 的情况。这里对pid文件的位置进行修改

/tmp目录默认一个月清理一次临时文件

修改pid路径步骤：

0.停止集群

hd start # 自己写的脚本

1.先修改sbin目录下hadoop-daemon.sh文件

在这里插入图片描述

指定HADOOP_PID_DIR储存路径

2.再修改 yarn-daemon.sh 文件

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-tNrsdjmz-1614347651103)(D:\Documents\typora\20180707210823288)]
指定YARN_PID_DIR储存路径

3.集群同步两个脚本

每次执行同步脚本之前一定要再三考虑集群中的该文件是否完全相同！！！如果把各个节点上配置不相同的配置文件给覆盖掉了就惨了！

xsync hadoop-daemon.sh
xsync yarn-daemon.sh

4.启动hadoop并查看pid文件位置

$HADOOP_HOME下的pid目录不需要我们自己创建，它会自行创建

[root@hadoop101 pid]# hd start
[root@hadoop101 pid]# cd $HADOOP_HOME/pid
[root@hadoop101 pid]# ls
hadoop-root-datanode.pid  hadoop-root-namenode.pid  yarn-root-nodemanager.pid
JcJJJJCc
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
设置Hadoop+Hbase集群pid文件存储位置
u010662668的博客
02-22 1257
基于java开发的程序，想要停止程序，必须通过进程pid来确定，而hadoop和hbase默认的情况下，会把pid文件存储在Linux上的/tmp目录的某个目录下，进程名命令规则一般是  框架名-用户名-角色名.pid，而默认情况下，linux的tmp里面的东西，一天会删除一次，所以把pid文件放在这里面，并不是长久之计，为了安全起见，我们还是放到一个固定的目录下最好，当然不能放在/tmp下 
记录hadoop HDFS与hadoop YARN无法访问问题
FunnyPrince_的博客
06-13 1668
问题： 如图，hadoop hdfs无法访问： 原因： 防火墙未关闭： 查看防火墙状态： [xiaobai@hadoop102 hadoop-3.2.2]$ systemctl status firewalld ● firewalld.service - firewalld - dynamic firewall daemon Loaded: loaded (/usr/lib/systemd/system/firewalld.service; enabled; vendor preset: enabl
Hadoop修改pid文件存储+配置YARN+运行默认YARN例子
m0_67391121的博客
08-16 342
小文件是指文件大小明显小于 HDFS 上块（block）大小（默认64MB，在Hadoop2.x中默认为128MB）的文件。
【Hadoop】Hadoop 小文件处理
w1992wishes的博客
08-31 555
【Hadoop】Hadoop 小文件处理 文章目录【Hadoop】Hadoop 小文件处理一、什么是小文件二、小文件是如何产生的三、为什么有小文件问题3.1、NameNode 内存管理3.2、MapReduce 性能四、如何解决小文件问题4.1、解决 NameNode 内存问题4.1.1、Hadoop HAR File4.1.2、Federated NameNodes4.2、解决 MapReduc...
HDFS默认在本地存储文件的位置？如何设置
张俊杰 的博客
02-23 2099
HDFS默认在本地存储文件的位置？如何设置 在hadoop-2.7.2/etc/hadoop/目录下的core-site.xml配置文件里面的 <property> <name>hadoop.tmp.dir</name> <value>/root/soft/tmp</value> </property> 这就是你文件存储在本地的位置, 你也可以自由设置. ...
大数据学习hdfs详解之pid文件剖析
louiezhang1215的博客
10-27 352
pid文件 pid默认存储在/tmp目录下 pid内容就是进程号 [hadoop@hadoop001 ~]$ cd /tmp [hadoop@hadoop001 tmp]$ ll total 132 drwxrwxr-x. 4 hadoop hadoop 4096 Sep 18 10:05 hadoop-hadoop -rw-rw-r--. 1 hadoop hadoop 6 Oct 20 ...
HDFS 和 YARN 的 HA 故障切换
Zephyr's Blog
01-01 1万+
一 非 HDFS HA 集群转换成 HA 集群 二 HDFS 的 HA 自动切换命令 1 获得当前 NameNode 的 active 和 standby 状态 2 NameNode 的 active 和 standby 状态切换 3 HDFS HA自动切换比手工切换多出来的步骤 三 ResourceManager 的 HA 自动切换命令 1 获得当前 RM 的 active 和 standb
Hadoop——hdfs高可用、yarn的高可用及Hbse分布式部署
weixin_44743132的博客
01-03 1058
一.hdfs高可用 [hadoop@server1 hadoop]$ sbin/stop-yarn.sh [hadoop@server1 hadoop]$ sbin/stop-dfs.sh [hadoop@server1 hadoop]$ jps 19079 Jps [hadoop@server1 hadoop]$ ps ax [hadoop@server1 hadoop]$ ls bin etc include input lib libexec LICENSE.txt logs N
导出 CDH 中各组件（HDFS、Hive、Impala、Kafka、Kudu、YARN和Zookeeper）指标到 Prometheus
最新发布
zcs2312852665的博客
05-03 1086
本教程介绍了如何提取大数据集群中不同组件的指标信息，涵盖了HDFS、Hive、Impala、Kafka、Kudu、YARN和Zookeeper等组件，通过配置环境变量以启用JMX监控，并展示了具体操作步骤和配置方法。本教程详细介绍了如何使用JMX Prometheus Exporter工具来提取各个大数据组件的指标信息，并将其暴露给Prometheus进行监控。通过学习本教程，您可以轻松设置并收集这些指标数据，并利用可视化工具展示和分析它们。希望本教程对您有所帮助！如有任何疑问或问题，请随时在评论区留言。
Hadoop编译和伪分布式部署（HDFS、YARN）
青青青的博客
06-01 1143
    本次hadoop源码包版本信息：hadoop-2.8.1-src.tar.gz，如有需要请到http://hadoop.apache.org这个网址去下载。Hadoop广义: 以Hadoop为主的生态圈狭义: Apache Hadoop2.X 3.X组件  HDFS   分布式存储 MapReduce 分布式计算 job1 Yarn   资源和作业调度和管理平台 Spark      Ap...
linux中pid文件位置,Linux系统下pid与pid文件及Hadoop更改pid文件存储位置
weixin_42102634的博客
04-28 1268
1.认识pid：PID全称是Process Identification。PID是进程的代号，每个进程有唯一的PID编号。它是进程运行时系统随机分配的，并不代表专门的进程。在运行时PID是不会改变标识符的，但是你终止程序后再运行PID标识符就会被系统回收，就可能会被继续分配给新运行的程序。2.pid文件pid文件的内容用cat命令查看，可以看到内容只有一行，记录了该进程的IDpid文件的作用防止启...
Linux系统下pid与pid文件及Hadoop更改pid文件存储位置
weixin_33845881的博客
05-22 150
1.认识pid： PID全称是Process Identification。PID是进程的代号，每个进程有唯一的PID编号。它是进程运行时系统随机分配的，并不代表专门的进程。在运行时PID是不会改变标识符的，但是你终止程序后再运行PID标识符就会被系统回收，就可能会被继续分配给新运行的程序。 2.pid文件 pid文件的内容用cat命令查看，可以看到内容只有一行，记录了该进程的ID pid文件的...
修改Hadoop的PID存储路径
code__gease的博客
03-19 1644
先停止所有Hadopp服务，进入etc/hadoop/ 修改hadoop-env.sh文件 vi hadoop-env.sh 在JAVA HOME后添加 export HADOOP_PID_DIR=/home/<username>/tmp export HADOOP_SECURE_PID_DIR=/home/<username>/tmp 再启动服务。
Hadoop的pid配置
狼的原野
12-22 279
今天发现一个问题，当hadoop集群运行一段时间以后，无法停止服务。执行stop-all的时候提示 no tasktracker to stop ，no datanode to stop。而当我把所有节点手动kill掉以后，执行start-all和stop-all均没有问题。在邮件群组里问 了一下，最后结论如下： stop-all.sh会调用stop-mapred.sh和 stop-dfs.sh去...
Hadoop 详细配置文档
DongHappyyy
12-01 1131
准备配置： 1、用sudo gedit /etc/hostname ,在打开的文件里更改主机名 2、为了虚拟机之间能够ping通，需要修改主机名    sudo gedit /etc/hosts 命令，把对应的主机名进行更改，同时更改前面对应的ip地址 3、关闭防火墙：用sudo ufw version 来查看是否有防火墙     开启/关闭防火墙：sudo ufw enable/dis...
hadoop pid文件及如何修改路径
烙痕丷的博客
07-07 3415
pid内容为各进程的进程号通过ps -ef | grep a  查询a的pid，精确杀死某进程[hadoop@hadoop000 sbin]$ cat hadoop-daemon.sh |grep pid#   HADOOP_PID_DIR   The pid files are stored. /tmp by default.（pid默认存储在/tmp目录）pid=$HADOOP_PID_DIR...
记录一次生产环境hadoop集群优化以及pid文件缺失处理
weixin_34144848的博客
06-07 266
一、优化准备优化需要根据实际情况综合分析1、关闭系统swap分区（如果未关闭的话）在Hadoop中，如果使用系统默认设置，会导致swap分区被频繁使用，集群会不断发出警告。对于每个作业处理的数据量和每个Task中用到的各种缓冲，用户都是完全可控的。echo "vm.swappiness = 0" >> /etc/sysctl.conf说明：尽量不使用交换分区，注意...
修改 hadoop 集群及hbase集群的pid文件存放位置
热门推荐
xiao_jun_0820的专栏
06-27 1万+
今天准备把hbase集群和hadoop集群停了做一些配置调整，结果运行stop-all.sh的时候无法停止集群，都提示no datanode,no namenode等等之类的信息， 于是我翻看了一下stop-all.sh stop-dfs.sh,stop-yarn.sh脚本，发现原理都是通过一个pid文件来停止集群的。 这些进程的pid文件默认都是保存在系统的/tmp目录下面，系统每个一段时间
Hadoop 的PID路径问题
鲍礼彬的CSDN博客 ~_~
06-03 3808
linux下 /tmp 目录会定时清理。 Hadoop启动后的PID文件默认配置确是保存在 /tmp 目录下的，所以这很危险。 在集群运行一段时间后，停Hadoop相关服务是会出现类似：no namenode to stop 的错误提示。 一般生产环境中我们需要重新修改PID的保存路径。   正常Hadoop进程：   半个多月没用，关闭出现异常。。   查看tmp目录：
hdfs和yarn的协作
06-05
HDFS和YARN是Hadoop生态系统的两个核心组件。HDFS是分布式文件系统，负责存储数据，而YARN是资源管理器，负责分配和管理集群上的资源。HDFS和YARN之间的协作如下： 1. HDFS提供数据存储和访问功能，将数据分成块存储在不同的节点上。YARN通过NodeManager获取数据块，从而将运行任务的节点与数据块相结合。 2. YARN通过ResourceManager协调集群中的资源，并将它们分配给不同的应用程序。当应用程序需要访问数据时，YARN会查找哪些节点存储了需要的数据，然后将任务分配给这些节点上的NodeManager。 3. HDFS和YARN都使用Zookeeper来协调和管理节点。例如，YARN会使用Zookeeper来跟踪节点和资源的状态，而HDFS会使用Zookeeper来管理NameNode和DataNode的状态。 综上所述，HDFS和YARN之间的协作是通过YARN来管理和分配资源，使得任务可以在集群中运行，并且可以访问存储在HDFS中的数据。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值