hadoop
文章平均质量分 63
remotesupport
这个作者很懒,什么都没留下…
展开
-
Hadoop运维记录系列(一)
这两天参加了51CTO举办的云计算架构师峰会,办的非常好,很多干货。确实比一些名不副实的所谓大数据实际都是厂商推销产品的会议要强得多。但是其实这事跟Hadoop运维没关系,但是这两天集群发生的故障影响了我听报告。说起来很奇幻,集群里面有三台服务器需要升级CPU,这本无可厚非。但是不多不少,恰恰是三台,符合Hadoop集群配置的replication数量。之间运维人员没有提前跟我转载 2013-07-08 10:33:07 · 625 阅读 · 0 评论 -
myeclipse配置hadoop开发环境
1、安装Hadoop开发插件 hadoop安装包contrib/目录下有个插件hadoop-0.20.2-eclipse-plugin.jar,拷贝到myeclipse根目录下/dropins目录下。Cygwinhadoop是基于Linux平台的,如其启动,关闭 配置需要在Linux命令行中执行,cygwin是用来模拟Linux下的命令行工具。安装地址:ht转载 2013-07-08 16:11:57 · 934 阅读 · 0 评论 -
ERROR security.UserGroupInformation: PriviledgedActionException 错误
由于hadoop主要是部署和应用在linux环境中的,但是目前鄙人自知能力有限,还无法完全把工作环境转移到linux中去(当然还有点小私心啦,windows下那么多好用的程序到linux下用不了还真有点心疼——比如说快播,O(∩_∩)O~),于是便想着用eclipse来远程连接hadoop进行开发,摸索了一番,下面是其步骤: 1. 首先把hadoop-eclipse-plugin-1.0转载 2013-07-09 14:37:34 · 1250 阅读 · 0 评论 -
Apache Pig的一些基础概念及用法总结(1)
本文基于以下环境:pig 0.8.1先给出两个链接:pig参考手册1,pig参考手册2。本文的部分内容来自这两个手册,但涉及到翻译的部分,也是我自己翻译的,因此可能理解与英文有偏差,如果你觉得有疑义,可参考英文内容。【配置Pig语法高亮】在正式开始学习Pig之前,你首先要明白,配置好编辑器的Pig语法高亮是很有用的,它可以极大地提高你的工作效率。如果你在Window转载 2013-08-06 15:41:33 · 890 阅读 · 0 评论 -
Apache Pig的一些基础概念及用法总结(2)
先给出两个链接:pig参考手册1,pig参考手册2。本文的部分内容来自这两个手册,但涉及到翻译的部分,也是我自己翻译的,因此可能理解与英文有偏差,如果你觉得有疑义,可参考英文内容。(1)LIMIT操作并不会减少读入的数据量如果你只需要输出一个小数据集,通常你可以使用LIMIT来实现,例如:123A = LOAD转载 2013-08-06 15:42:27 · 681 阅读 · 0 评论 -
Hive启动报错解决方法
启动Hive时报错如下:wamdm@WAMDM5:~/hive/build/dist/bin$ ./hiveException in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/hive/conf/HiveConf at java.lang.Class.forName0(Native Me转载 2013-08-08 09:03:14 · 1343 阅读 · 0 评论 -
hadoop namenode -format 后出现datanode 无法启动故障解决办法
经查阅相关资料发现:每次format会重新创建一个namenodeId,而datanodeId此时还是保持原样结果就导致修改每个Slave的namespaceID使其与Master的namespaceID一致 主namespaceID如下:[hadoop@CHN-BJ-03-DR720-Hadoop current]$ cat /data/namenode1/current/VER转载 2013-09-12 09:20:46 · 1015 阅读 · 0 评论