![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据运维之集群操作日常
人蠢多读书
这个作者很懒,什么都没留下…
展开
-
hadoop resourcemanager webui端口修改后客户端配置是否需要修改?
1.cm上修改yarn web ui端口为8089: 2.提示重启yarn和hive 3.重新yarn和hive后,直接在客户端提交job,此时客户端配置如下: 尝试提交job: 发现直接提交成功,同时我们发现,客户端是线连接ResourceManager的8032端口,然后再去有RM转发job到对应的web ui地址,不走客户端配置。 4.hive也正常 5.结论...原创 2019-11-29 16:56:38 · 2689 阅读 · 0 评论 -
大内存也是否需要关闭
搭建hadoop集群时是否需要关闭大内存页,仅以实时响应来说,是需要的。具体如下 问:hbase集群搭建是否需要关闭透明最大页 hbase版本号:1.2.0+cdh5.13.0+411 操作系统版本centos 7.5.1804 HBASE 需要关闭透明最大页吗? 答1:要关掉,否则GC时的Object copy耗时明显增加,对吞吐有显著影响。 或者在hbase-env.sh添加-XX:+A...转载 2019-11-26 09:46:22 · 296 阅读 · 0 评论 -
cm中禁止namenode格式化
转载来自:https://cloud.tencent.com/developer/article/1349372 如何禁止Namenode格式化 在这篇文章中: 1 文档编写目的 2 禁止Namenode格式化 2.1 从格式化到跑路 2.2 配置高级参数 3 参数功能验证 4 总结 1 文档编写目的 众所周知,Namenode存放Hadoop集群的元数据,Datanode...转载 2019-03-26 09:38:32 · 340 阅读 · 0 评论 -
hdfs文件租约lease未释放引发的job失败
1.报错现象如下 2.参考链接:https://www.cnblogs.com/cssdongl/p/6700512.html(给出问题分析,再去解决问题) https://blog.csdn.net/qq_29992111/article/details/80533563(直接解决问题) 3.操作如下: (1)找出租约未释放的文件 hdfs fsck /logs/product...转载 2019-07-01 15:55:31 · 2184 阅读 · 0 评论 -
linux删除大文件空间不释放问题解决
(1) echo " " > 大文件 通过这种方法,磁盘空间不但可以马上释放,也可保障进程继续向文件写入日志,这种方法经常用于在线清理Apache、Tomcat、Nginx等Web服务产生的日志文件。 (2)停掉持续往该文件写数据的进程,在进行大文件删除 (3)如果以上两步(1),(2)都没有进行操作,而是直接删除大文件,那么先清理出足够的磁盘空间,用来安装lsof,然后执行:...原创 2018-10-16 16:21:37 · 3221 阅读 · 0 评论 -
linux用户权限添加
转载来自:lyl 需求1:请给A,B两台主机的dgp_aop用户授以下权限: NOPASSWD: /usr/bin/yum,/usr/bin/vi,/usr/bin/cp,/usr/bin/rpm,/usr/bin/systemctl,/usr/bin/cp 操作如下:(root,建议visudo,因为它会自动检查语法错误,防止修改sudo出错,远程无法登入...转载 2018-10-10 09:54:37 · 318 阅读 · 0 评论