Hadoop
magic_kid_2010
这个作者很懒,什么都没留下…
展开
-
SLOW READPROCESSOR;ERROR SLOW BLOCKRECEIVER错误日志分析
hadoop SLOW READPROCESSOR 分析原创 2022-05-27 16:15:22 · 1393 阅读 · 0 评论 -
map reduce 设置第三方依赖包
当运行 hadoop jar 运行任务时,如果系统有设置 hadoop_classpath,会将 hadoop_classpath 变量赋值给 classpath,所以只能通过 hadoop_classpath 来设置第三方依赖包。否则会出现如下异常:Caused by: java.lang.ClassNotFoundException如果用户依赖 和 hadoop 自带依赖,都有某个 jar,但是版本不同,可能会导致依赖冲突,可通过如下设置决定是先加载用户依赖,还是 hadoop 自带依赖:原创 2022-01-18 14:38:59 · 1829 阅读 · 0 评论 -
hadoop 踩坑记
1、访问 yarn 8088 会被重定向到 0.0.0.0:8088 地址。问题排查:查看了 yarn-site.xml 配置文件,yarn 的 ResourceManager 使用了高可用,配置了 rm1 和 rm2 节点。当 rm1 故障时会自动切换到 rm2。所以当 rm1 出现故障,我们访问 rm1:8088,就会出现异常。这时,应该访问 rm2:8088,就正常了。<pr...原创 2019-12-23 11:36:50 · 208 阅读 · 0 评论 -
Hadoop集群常用端口
在访问hadoop集群时,经常会遇到各种端口,如通过HTTP访问、TCP访问、RPC访问等。以下是收集整理的一些常用的hadoop集群默认端口。Hadoop环境:2.x一、hadoop配置文件说明:序号 配置文件名 配置对象 主要内容 1 core-site.xml 集群全局参数 用于定义系统级别的参数,如defaultFS、Hadoop的临时...原创 2019-08-15 19:12:34 · 1854 阅读 · 0 评论