pig并发执行的错误

原创 2015年07月07日 16:45:32

错误信息为:

ERROR 2017: Internal error creating job configuration.

org.apache.pig.backend.hadoop.executionengine.mapReduceLayer.JobCreationException: ERROR 2017: Internal error creating job configuration.
        at org.apache.pig.backend.hadoop.executionengine.mapReduceLayer.JobControlCompiler.getJob(JobControlCompiler.java:859)
        at org.apache.pig.backend.hadoop.executionengine.mapReduceLayer.JobControlCompiler.compile(JobControlCompiler.java:296)
        at org.apache.pig.backend.hadoop.executionengine.mapReduceLayer.MapReduceLauncher.launchPig(MapReduceLauncher.java:190)
        at org.apache.pig.PigServer.launchPlan(PigServer.java:1322)
        at org.apache.pig.PigServer.executeCompiledLogicalPlan(PigServer.java:1307)
        at org.apache.pig.PigServer.execute(PigServer.java:1297)
        at org.apache.pig.PigServer.executeBatch(PigServer.java:375)
        at org.apache.pig.PigServer.executeBatch(PigServer.java:353)
        at org.apache.pig.tools.grunt.GruntParser.executeBatch(GruntParser.java:140)
        at org.apache.pig.tools.grunt.GruntParser.parseStopOnError(GruntParser.java:202)
        at org.apache.pig.tools.grunt.GruntParser.parseStopOnError(GruntParser.java:173)
        at org.apache.pig.tools.grunt.Grunt.exec(Grunt.java:84)
        at com.bonc.dataplatform.bdi.dataflow.monitor.Mains.run(Mains.java:573)
        at com.bonc.dataplatform.bdi.dataflow.monitor.Mains.run(Mains.java:123)
        at com.bonc.dataplatform.bdi.dataflow.monitor.Execute.execute(Execute.java:79)
        at com.bonc.dataplatform.bdi.dataflow.DataflowTask.runScript(DataflowTask.java:233)
        at com.bonc.dataplatform.bdi.dataflow.DataflowTask.pigExecute(DataflowTask.java:203)
        at com.bonc.dataplatform.bdi.dataflow.DataflowTask.run(DataflowTask.java:127)
        at com.bonc.dataplatform.bdi.taskmanager.task.manager.TaskExecuteCommand.run(TaskExecuteCommand.java:87)
        at java.util.concurrent.ThreadPoolExecutor$Worker.runTask(ThreadPoolExecutor.java:886)
        at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:908)
        at java.lang.Thread.run(Thread.java:662)
Caused by: java.io.IOException: Filesystem closed
        at org.apache.hadoop.hdfs.DFSClient.checkOpen(DFSClient.java:703)
        at org.apache.hadoop.hdfs.DFSClient.getFileInfo(DFSClient.java:1755)
        at org.apache.hadoop.hdfs.DistributedFileSystem$17.doCall(DistributedFileSystem.java:1124)
        at org.apache.hadoop.hdfs.DistributedFileSystem$17.doCall(DistributedFileSystem.java:1120)
        at org.apache.hadoop.fs.FileSystemLinkResolver.resolve(FileSystemLinkResolver.java:81)
        at org.apache.hadoop.hdfs.DistributedFileSystem.getFileStatus(DistributedFileSystem.java:1120) 
        at org.apache.hadoop.fs.FileSystem.exists(FileSystem.java:1398)
        at org.apache.pig.backend.hadoop.datastorage.HPath.exists(HPath.java:106)
        at org.apache.pig.impl.io.FileLocalizer.getTemporaryPath(FileLocalizer.java:480)
        at org.apache.pig.impl.io.FileLocalizer.getTemporaryPath(FileLocalizer.java:474)
        at org.apache.pig.backend.hadoop.executionengine.mapReduceLayer.JobControlCompiler.shipToHDFS(JobControlCompiler.java:1521)
        at org.apache.pig.backend.hadoop.executionengine.mapReduceLayer.JobControlCompiler.putJarOnClassPathThroughDistributedCache(JobControlCompiler.java:1498)
        at org.apache.pig.backend.hadoop.executionengine.mapReduceLayer.JobControlCompiler.getJob(JobControlCompiler.java:513)
        ... 21 more

解决办法

修改配置文件中的 hdfs-site.xml的以下属性 (没有就加上)

<property>
 <name>fs.hdfs.impl.disable.cache</name>
 <value>true</value>
 </property>

版权声明:本文为博主原创文章,未经博主允许不得转载。

pig的各种运行模式与运行方式详解

pig的各种运行模式与运行方式详解 一、pig的运行模式:     Pig 有两种运行模式: Local 模式和 MapReduce 模式。当 Pig 在 Local 模式运行的时候, Pig 将只...
  • u012875880
  • u012875880
  • 2013年11月19日 11:02
  • 3641

Pig学习之 UDF

Eval function详细点击[官方文档](http://pig.apache.org/docs/r0.16.0/udf.html#eval-functions) Algebraic Interf...
  • GG584741
  • GG584741
  • 2016年06月20日 17:56
  • 726

Pig 学习之 日志处理

以Apache 日志为例。创建加载器 @Override public Tuple getNext() throws IOException { tuple = new ...
  • GG584741
  • GG584741
  • 2016年06月20日 19:20
  • 546

Linux下Pig的安装和配置

一.Pig简介 Apache Pig 是一个高级过程语言,适合于使用 Hadoop 和 MapReduce 平台来查询大型半结构化数据集。通过允许对分布式数据集进行类似 SQL 的查询,Pig 可以...
  • yxgxy270187133
  • yxgxy270187133
  • 2014年09月02日 15:08
  • 1111

Pig与Hive的区别

http://myeyeofjava.iteye.com/blog/1601792 Pig是一种编程语言,它简化了Hadoop常见的工作任务。Pig可加载数据、表达转换数据以及存储最终结果。Pi...
  • bluejoe2000
  • bluejoe2000
  • 2014年11月25日 08:53
  • 1194

pig的内置函数小总结(不全)

piggybank里面有很多函数,可以用register和define调用。也可以用java仿照piggybank自行开发。 比如读sequence二进制文件,可以用piggybank里面函数Sequ...
  • longshenlmj
  • longshenlmj
  • 2014年11月05日 15:08
  • 2598

大数据学习——数据处理工具Pig入门使用

简介Pig是一个基于Hadoop的大规模数据分析平台,它提供的SQL-LIKE语言叫Pig Latin,该语言的编译器会把类SQL的数据分析请求转为一系列经过优化处理的MapReduce运算。特点 专...
  • xundh
  • xundh
  • 2017年03月29日 15:47
  • 1067

pig强制转换(字符到整数):首位0怎么处理,‘01’到1的转化,

pig支持的类型转换(cast) Pig Latin supports casts as shown in this table. from / to bag tuple ma...
  • longshenlmj
  • longshenlmj
  • 2014年12月09日 15:13
  • 2044

pig关系操作符实例

cogroup  对两个对象模式,分别按指定的字段进行分组,然后按照指定的key列来分组 grunt> cat A; 0,1,2 1,3,4 grunt> cat B; 0,5,2 1,7,8 gr...
  • ruishenh
  • ruishenh
  • 2013年09月27日 19:14
  • 8473

Apache Pig的一些基础概念及用法总结

转载必须注明出处:http://www.codelast.com/ 本文可以让刚接触pig的人对一些基础概念有个初步的了解。 本文大概是互联网上第一篇公开发表的且涵盖大量实际例子的Apache...
  • hxpjava1
  • hxpjava1
  • 2014年02月10日 13:58
  • 2872
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:pig并发执行的错误
举报原因:
原因补充:

(最多只允许输入30个字)