csv java读取数据_使用pig从csv文件中读取数据

我'm trying to read a csv file on pig shell on mac. All I'做的是 load 一个变量的文件和 dump 变量 . 我是这样做的:

movies = LOAD '/user/myhome/movies_data.csv' USING PigStorage(',') as (id,name,year,rating,duration);

DUMP movies;

我正在使用的数据是从github下载的here

此文件在我的mac上本地安装的hdfs中可用 . 当我做 dump 我收到一个错误:

org.apache.pig.impl.logicalLayer.FrontendException:ERROR 1066:无法在org.apache.pig.tool.grunt的org.apache.pig.PigServer.openIterator(PigServer.java:935)上打开别名电影的迭代器.gruntParser.processDump(GruntParser.java:754)org.apache.pig.tools.pigscript.parser.PigScriptParser.parse(PigScriptParser.java:376)org.apache.pig.tools.grunt.GruntParser.parseStopOnError(GruntParser) .java:230)org.apache.pig.tools.grunt.GruntParser.parseStopOnError(GruntParser.java:205)org.apache.pig.tools.grunt.Grunt.run(Grunt.java:66)at org . 位于org.apache.pig.Main.main(Main.java:177)的apache.pig.Main.run(Main.java:565)位于sun.reflect.NativeMethodAccessorImpl的sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) . 在org.apache.hadoop.util.RunJar的java.lang.reflect.Method.invoke(Method.java:497)的sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)中调用(NativeMethodAccessorImpl.java:62) .run(RunJar.java:221)在org.apache.hadoop.util . RunJar.main(RunJar.java:136)引起:java.io.IOException:作业在org.apache.pig.PigServer.openIterator(PigServer.java:927)中以异常状态FAILED终止... 13更多

当我在运行此作业时点击应用程序集群链接时,我收到以下异常:

诊断:容器启动的例外情况 . 容器ID:container_1443887668938{02_000001退出代码:127堆栈跟踪:ExitCodeException exitCode = 127:atg.apache.hado . java:455)org.apache.hadoop.util.Shell $ ShellCommandExecutor.execute(Shell.java:715)org.apache.hadoop.yarn.server.nodemanager.DefaultContainerExecutor.launchContainer(DefaultContainerExecutor.java:211)at org .apache.hadoop.yarn.server.nodemanager.containermanager.launcher.ContainerLaunch.call(ContainerLaunch.java:302)at org.apache.hadoop.yarn.server.nodemanager.containermanager.launcher.ContainerLaunch.call(ContainerLaunch.java: 82)在java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142)的java.util.concurrent.FutureTask.run(FutureTask.java:266)java.util.concurrent.ThreadPoolExecutor $ Worker.run(ThreadPoolExecutor) .java:617)at java.lang.Thread.run(Thread.java:745)Container以非零退出代码退出127失败此尝试 . 申请失败 .

猪版本为0.15.0,hadoop为2.6.1 . 我在这里错过了什么吗?

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值