hadoop
飙风宅男
关注数据库技术,关注IT行业发展。
展开
-
hadoop问题集:1.mapreduce_shuffle does not exist
执行任务报警:Container launch failed for container_1433170139587_0005_01_000002 : org.apache.hadoop.yarn.exceptions.InvalidAuxServiceException: The auxService:mapreduce_shuffle does not exist原因是yarn中没有au...原创 2019-01-18 15:02:53 · 877 阅读 · 0 评论 -
hadoop问题集:2.hostname不规范导致hadoop无法启动
java.lang.IllegalArgumentException: Does not contain a valid host:port authority: online_spark_01:8020 at org.apache.hadoop.net.NetUtils.createSocketAddr(NetUtils.java:212) at org.apache.hadoo...原创 2019-01-18 15:29:48 · 429 阅读 · 0 评论 -
hadoop问题集:3.yarn nodemanager是unhealthy的
从RM上看到有unhealy的NM,查了下NM的日志发现:2018-04-12 20:05:56,277 WARN org.apache.hadoop.yarn.server.nodemanager.DirectoryCollection: Directory /webser/hadoop-hadoop/tmp/nm-local-dir error, used space above thres...原创 2019-01-18 15:35:12 · 1190 阅读 · 0 评论 -
hadoop问题集:4.读取hdfs块报 Cannot obtain block length for LocatedBlocks
Caused by: java.io.IOException: Cannot obtain block length for LocatedBlock{BP-1543153613-192.168.200.60-1463200565636:blk_1305640536_1099879460161; getBlockSize()=0; corrupt=false; offset=0; locs=[10...原创 2019-01-18 15:38:42 · 644 阅读 · 0 评论 -
hadoop问题集:5.hive启动报错com.ibm.icu.impl.ICUBinary.getRequiredData
参考:https://www.jianshu.com/p/5ec5a509b5a8报错:Exception in thread "main" java.lang.NoSuchMethodError: com.ibm.icu.impl.ICUBinary.getRequiredData(Ljava/lang/String;)Ljava/nio/ByteBuffer; at com.ibm.icu...原创 2019-01-18 15:42:17 · 1560 阅读 · 2 评论 -
hadoop问题集:6.yarn 资源队列ACL不生效
使用的capacity调度器,设置队列ACL后,没有权限的用户依然可以提交任务到队列中。原因:队列权限有继承性,root队列默认的ACL是,即都可以提交。因此设置root.acl_submit_applications即可*查看用户的队列权限:[yxw@node1 ~]$ mapred queue -showacls18/12/29 16:24:03 INFO client.RMProx...原创 2019-01-18 15:46:25 · 1151 阅读 · 0 评论