hadoop分布式架构
文章平均质量分 53
分享hadoop架构搭建何问题解决
小林月
喜欢分享总结在编程中遇到的问题和有趣的项目
展开
-
【问题】hadoop jar wordcount时报INFO client.RMProxy: Connecting to ResourceManager at hadoop103/192.168.75
运行hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount /input /output1出现INFO client.RMProxy: Connecting to ResourceManager at hadoop103/192.168.75。这里可以自己去用stop.dfs.sh和stop.yarn.sh分别去你配置的副本进行关闭。集群下的所有data/ logs/文件夹。3.重新格式化nameno。原创 2023-03-22 12:39:37 · 742 阅读 · 0 评论 -
编写myhadoop.sh脚本快捷开启集群,一起开启(关闭)dfs,yarn
1)各个模块分开启动/停止(配置ssh是前提)常用 (1)整体启动/停止HDFS (2)整体启动/停止YARN2)各个服务组件逐一启动/停止 (1)分别启动/停止HDFS组件 (2)启动/停止YARN编写Hadoop集群常用脚本1)Hadoop集群启停脚本(包含HDFS,Yarn,Historyserver):myhadoop.sh输入以下内容保存后退出,然后赋予脚本执行权限2)查看三台服务器Java进程脚本:j原创 2023-03-22 12:53:17 · 274 阅读 · 0 评论 -
Hadoop集群启动后命令JPS没有DataNode或者NameNode
a:进入/opt/module/hadoop-3.1.3/data/dfs目录里面删除掉所有文件。c:进入/opt/module/hadoop-3.1.3/logs目录里面删除掉所有文件。1)需要检查core-site.xml 和 hdfs-site.xml这俩文件,配置没错的话再看第二条。2)可能已经执行格式化NameNode后,但是格式之前并没有停止之前的进程并删除相关数据。1)删除dfs文件夹里的文件和删除nm-local-dir目录。2)删除后需要重新执行格式化NameNode操作。原创 2023-03-22 09:19:07 · 7520 阅读 · 0 评论