pig并发执行的错误

原创 2015年07月07日 16:45:32

错误信息为:

ERROR 2017: Internal error creating job configuration.

org.apache.pig.backend.hadoop.executionengine.mapReduceLayer.JobCreationException: ERROR 2017: Internal error creating job configuration.
        at org.apache.pig.backend.hadoop.executionengine.mapReduceLayer.JobControlCompiler.getJob(JobControlCompiler.java:859)
        at org.apache.pig.backend.hadoop.executionengine.mapReduceLayer.JobControlCompiler.compile(JobControlCompiler.java:296)
        at org.apache.pig.backend.hadoop.executionengine.mapReduceLayer.MapReduceLauncher.launchPig(MapReduceLauncher.java:190)
        at org.apache.pig.PigServer.launchPlan(PigServer.java:1322)
        at org.apache.pig.PigServer.executeCompiledLogicalPlan(PigServer.java:1307)
        at org.apache.pig.PigServer.execute(PigServer.java:1297)
        at org.apache.pig.PigServer.executeBatch(PigServer.java:375)
        at org.apache.pig.PigServer.executeBatch(PigServer.java:353)
        at org.apache.pig.tools.grunt.GruntParser.executeBatch(GruntParser.java:140)
        at org.apache.pig.tools.grunt.GruntParser.parseStopOnError(GruntParser.java:202)
        at org.apache.pig.tools.grunt.GruntParser.parseStopOnError(GruntParser.java:173)
        at org.apache.pig.tools.grunt.Grunt.exec(Grunt.java:84)
        at com.bonc.dataplatform.bdi.dataflow.monitor.Mains.run(Mains.java:573)
        at com.bonc.dataplatform.bdi.dataflow.monitor.Mains.run(Mains.java:123)
        at com.bonc.dataplatform.bdi.dataflow.monitor.Execute.execute(Execute.java:79)
        at com.bonc.dataplatform.bdi.dataflow.DataflowTask.runScript(DataflowTask.java:233)
        at com.bonc.dataplatform.bdi.dataflow.DataflowTask.pigExecute(DataflowTask.java:203)
        at com.bonc.dataplatform.bdi.dataflow.DataflowTask.run(DataflowTask.java:127)
        at com.bonc.dataplatform.bdi.taskmanager.task.manager.TaskExecuteCommand.run(TaskExecuteCommand.java:87)
        at java.util.concurrent.ThreadPoolExecutor$Worker.runTask(ThreadPoolExecutor.java:886)
        at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:908)
        at java.lang.Thread.run(Thread.java:662)
Caused by: java.io.IOException: Filesystem closed
        at org.apache.hadoop.hdfs.DFSClient.checkOpen(DFSClient.java:703)
        at org.apache.hadoop.hdfs.DFSClient.getFileInfo(DFSClient.java:1755)
        at org.apache.hadoop.hdfs.DistributedFileSystem$17.doCall(DistributedFileSystem.java:1124)
        at org.apache.hadoop.hdfs.DistributedFileSystem$17.doCall(DistributedFileSystem.java:1120)
        at org.apache.hadoop.fs.FileSystemLinkResolver.resolve(FileSystemLinkResolver.java:81)
        at org.apache.hadoop.hdfs.DistributedFileSystem.getFileStatus(DistributedFileSystem.java:1120) 
        at org.apache.hadoop.fs.FileSystem.exists(FileSystem.java:1398)
        at org.apache.pig.backend.hadoop.datastorage.HPath.exists(HPath.java:106)
        at org.apache.pig.impl.io.FileLocalizer.getTemporaryPath(FileLocalizer.java:480)
        at org.apache.pig.impl.io.FileLocalizer.getTemporaryPath(FileLocalizer.java:474)
        at org.apache.pig.backend.hadoop.executionengine.mapReduceLayer.JobControlCompiler.shipToHDFS(JobControlCompiler.java:1521)
        at org.apache.pig.backend.hadoop.executionengine.mapReduceLayer.JobControlCompiler.putJarOnClassPathThroughDistributedCache(JobControlCompiler.java:1498)
        at org.apache.pig.backend.hadoop.executionengine.mapReduceLayer.JobControlCompiler.getJob(JobControlCompiler.java:513)
        ... 21 more

解决办法

修改配置文件中的 hdfs-site.xml的以下属性 (没有就加上)

<property>
 <name>fs.hdfs.impl.disable.cache</name>
 <value>true</value>
 </property>

版权声明:本文为博主原创文章,未经博主允许不得转载。

相关文章推荐

windows下:Failed to set permissions of path: \tmp\ \.staging to 0700

这个官方的bug之前遇到过。。。。。。。。。。。。。。。。。。。。。可是。。。。。。。 ================================================== 12/...

Hadoop-Pig 学习笔记

本文是一个学习笔记,并不包含完整的Pig(Pig Latin)内容,仅仅列出了一些本人在学习过程中觉得重要的内容,更详细的内容参考《Hadoop权威指南》、《实战Hadoop》。Pig概述Pig是一种...

Hadoop集群上基于Pig的通话记录的查询及错误排解(ERROR 2998: Unhandled internal error. name)

问题说明:由于电信公司一般把通话记录CDR存放在传统的关系数据库中,需要统计或者查询时,只需要简单的几条sql语句即可查找出来;但是随着数据量的不断增大,特别数据量达到海量级别时,如果还是从传统数据库...

Pig源码分析: 简析执行计划的生成

本文通过跟代码的方式,分析从输入一批Pig-latin到输出物理执行计划(与launcher引擎有关,一般是MR执行计划,也可以是Spark RDD的执行算子)的整体流程。 不会具体涉及AST如何解...

Pig执行模式

Pig有两种执行模式:local mode 和 MR mode         Pig的物理计划是一系列的MR作业,在local mode,作业在本地JVM中运行,在MR mode,作业在Hadoo...

利用pig从HBase中导出csv格式文件执行日志

REGISTER /usr/hdp/current/hbase-client/lib/htrace-core-3.1.0-incubating.jar REGISTER /usr/hdp/curre...
  • xfg0218
  • xfg0218
  • 2017年04月05日 21:28
  • 893

Pig源码分析: 逻辑执行计划优化

本文分析的是逻辑执行计划优化的代码结构,具体每种Rule的实现不做分析。

Pig源码分析: 逻辑执行计划模块

Pig源码分析: 逻辑执行计划模块

DB2执行sql错误码对应错误信息

  • 2016年12月21日 11:37
  • 38KB
  • 下载

sa下执行命令错误的几种情况

  • 2013年04月28日 19:48
  • 8KB
  • 下载
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:pig并发执行的错误
举报原因:
原因补充:

(最多只允许输入30个字)