安装pig时遇到的问题

最新推荐文章于 2021-12-28 10:43:04 发布
最新推荐文章于 2021-12-28 10:43:04 发布
阅读量2.5k 收藏
点赞数 1
分类专栏： pig hadoop 文章标签： pig hadoop header 集群
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/azhao_dn/article/details/6921409
版权
hadoop 同时被 2 个专栏收录
63 篇文章 0 订阅
订阅专栏
pig
3 篇文章 0 订阅
订阅专栏
下载 pig-0.8.1的安装包，解压到安装路径后，设置好 HADOOP_CONF_DIR  和HADOOP_HOME，然后运行bin/pig
出现错误，错误信息如下：
 ERROR org.apache.pig.Main - ERROR 2999: Unexpected internal error. Failed to create DataStorage
到namenode上去查看pig连接日志，错误信息如下：
 Incorrect header or version mismatch from 111.161.25.183:43880 got version 3 expected version 4
尝试了很多办法都没能解决，最后下载源代码自行编译，才使得pig正常运行！

pig-0.9.1版在我的hadoop集群上也无法正确运行：错误信息提示datanode无法连接namenode，但是hive和自行编译的pig都运行正常。
不知道有没有同学遇到和我一样的问题？
azhao_dn
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
Pig安装测试和出现的问题
iwantknowwhat的专栏
05-03 879
Pig的安装和配置过程 1、从http://pig.apache.org/下载Pig安装包，我下载的是Pig-0.14.0 2、使用tar -zxvf pig-0.14.0.tar.gz解压到适当的位置，这里推荐放在hadoop的目录下 3、接下来需要做的就是配置了，我是在/etc/profile中进行配置的，配置过程中和hadoop进行了关联，这样可以让Pig在分布式存储上进行想要的处理。
Hadoop源码分析5: RPC基本线程
weixin_30764771的博客
05-28 216
1. 数据记录FileStatus public class FileStatus implements Writable { private String filename; private long time; static { // register IPCFileStatus WritableFactories.setFac...
pig安装及问题
数据库天地
12-05 180
一篇毫无技术含量的pig安装，大家在安装pig前，想必已经安装好了hadoop，这里就不在强调java的版本和JAVA_HOME的配置问题了 1.下载pig包：(我的网盘里面pig-0.9.1) http://115.com/file/dneclpet apache版本： http://pig.apache.org/ 2.解压文件： # tar -zxvf pig-0.9.1.tar....
hive环境搭建 Terminal initialization failed; falling back to unsupported 解决
weixin_34128237的博客
10-23 96
Logging initialized using configuration in jar:file:/hive/apache-hive-1.1.0-bin/lib/hive-common-1.1.0.jar!/hive-log4j.propertiesSLF4J: Class path contains multiple SLF4J bindings.SLF4J: Fou...
Chrome pig toolebox 不能使用的一些问题
weixin_30298497的博客
01-19 197
在chrome浏览器上有一个特好用的万能插件我一直在用就是pig toolbox（不知道为什么要起这么一个名字），它能提供Gmail邮箱提醒、鼠标手势、屏幕截图等很多功能。如下图所示。 而最最常用的就是Gmail邮箱提醒和鼠标手势的功能，而他的鼠标手势跟其它的还不一样，它可以识别你画的字母然后去操作，而其他的鼠标手势大都是一些简单的左右上下的操作（pig toolbox也提供这种类型的手势）...
大数据pig实战
01-14
然而，随着数据量的日益增加，对性能的要求越来越高，传统的关系型数据库在处理大规模数据时遇到了瓶颈。因此，对于大数据分析和处理技术的需求催生了包括Pig在内的新技术和工具。 #### NoSQL与SQL的关系 NoSQL是...
pig基础操作
04-24
在遇到问题时，检查日志是定位错误的重要手段。 【压缩包子文件的文件名称列表】：虽然提供的文件名称列表与 Pig 直接关联不大，但它们可能是 Hadoop 或相关服务（如 NFS）的 RPM 安装包。这些包可能用于在 Linux ...
java-pig-latin:Pig Latin，使用Java！
03-10
`countLeadingConsonants`方法则遍历单词的前几个字符，统计直至遇到第一个元音之前的辅音数量。 对于特殊情况，如"qu"，我们可以在`translate`方法内添加额外的条件检查。例如，如果单词长度大于2且前两个字符为...
Ubuntu下搭建Pig.pdf
最新发布
04-15
### Ubuntu下搭建Pig环境详解 #### 环境配置与需求 在开始之前，请确保你的Ubuntu系统版本为16.04.7 LTS。此版本的Ubuntu支持Pig 0.16，并且能够...如果在安装过程中遇到任何问题，建议参考官方文档或寻求社区支持。
Hadoop RPC通信Server端的流程分析
走在前往架构师的路上
12-07 3209
前2天刚刚小小的分析下Client端的流程，走的还是比较通顺的，但是RPC的服务端就显然没有那么简单了，毕竟C-S这种模式的，压力和重点都是放在Server端的，所以我也只能做个大概的分析，因为里面细节的东西太多，我也不可能理清所有细节，但是我会集合源代码把主要的流程理理清。如果读者想进一步学习的话，可自行查阅源码。            Server服务端和Client客户端在某些变量的定义上
hadoop 可能遇到的错误
chunguo.wang
08-18 545
1.question 2011-08-15 13:07:42,558 INFO org.apache.hadoop.ipc.Client: Retrying connect to server: server0/192.168.2.10:9000. Already tried 5 time(s). 2011-08-15 13:07:42,558 INFO org.ap...
ubuntu启动hadoop报错
ouyida3
08-03 220
报错信息： 删除了tmp，再format，再重启，未解决！ 2011-08-03 23:15:28,053 WARN org.apache.hadoop.conf.Configuration: DEPRECATED: hadoop-site.xml found in the classpath. Usage of hadoop-site.xml is deprecated. Inste...
java.util.zip.DataFormatException: incorrect header check 异常问题及解决方法
Liuying_AD的博客
12-28 8876
Java 解压 Node.js DeflaterRaw 压缩的字符串 报无标头解决方案 前端 Node.js DeflaterRaw 压缩zipJSON字符串，是没有标头的！ 所以使用Java inflater 去解压时会报，提示无标头异常！ incorrect header check！ java.util.zip.DataFormatException: incorrect header check at java.util.zip.Inflater.inflateBytes(Native Metho
Hadoop-0.20.0源代码分析（11）
笔记本
02-21 518
这里分析一下IPC模型中的Server端的实现。该Server类的实现有点复杂，而且涉及到网络中字节流缓冲区的操作问题，及其字节数据的反序列化。 Server类 该Server是服务端的抽象实现，定义了一个抽象的IPC服务。 该IPC服务器接收Client发送的参数值，并返回响应值。同时，作为IPC模型的服务端，它要维护Client端到Server端的一组连接。 首先看Serve
got请求出现incorrect header check的解决方案
开源世界
04-22 2360
云开发确实简单，但是对于没有基础的同学，直接上手，报个错会摸不到头脑 我也是第一次碰见这个错误，直接帮其它社区的同学回答的时候，我是回复的是使用 request 库。今天研究一下 如何排查问题：   遇到该报错，先在社区查查有没有相同的问题，没有的话，去github上找找，在issues搜索框里搜索，果然有这个错误。添加decompress: false，问题得到解决。   自己碰到的问题，基本上别人也碰见过，如果别人也没碰见过，那就是疑难杂症了。 github issues : https://githu
SQLite header and source version mismatch解决方案
derou6711的博客
07-18 423
SQLite header and source version mismatch 最近需要用到sqlite,去官网下了一个编译安装后打开sqlite3出现SQLite header and source version mismatch这个错误。 这个问题是因为ubuntu里面原来自带了一个老版的sqlite运行库，这个库由一个库文件和一个符号链接组成，位于...
第六章：小朱笔记hadoop之源码分析-ipc分析 第三节：Server类分析
huashuizhuhui的专栏
05-20 177
第六章：小朱笔记hadoop之源码分析-ipc分析 第三节：Server类分析       启动Listener进程，如果收到需要建立连接的请求，将建立连接，然后在上面捕获读操作的命令。收到命令之后，将把解析客户端发过来信息的工作委派给Connection。Connection把信息封装到Call对象中，放入队列中，待Handler处理。启动指定数目的Handler线程，处理客户端对指定方...
haoop rpc服务端读取数据包源码解析注释
成长是一个持续的过程
10-13 1067
这些图是从别人那拿过来的 留着自己看！具体查看链接：http://fengshenwu.com/blog/2012/11/13/hadoop-rpc_develop/ RPC包格式： 我的hadoop源码(有一些注释):https://github.com/heipacker/hadoop-1.0.3-linux
DBMONSTER：下载、安装、配置与常见问题解决
然而，用户可能会遇到疑惑，即虽然dbmonster.bat位于D:\105.tools\dbmonster-core-1.0.3\bin，但执行命令时可能会出现问题。这可能是路径问题或者权限不足，需要检查路径是否正确，以及执行命令的用户是否有足够的...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值