hadoop
conkeyn
a
展开
-
Hadoop应用中的异常记录
1、File could only be replicated to 0 nodes, instead of 1 原因(1):可能是从机上也执行“$HADOOP_HOME/bin/hadoop namenode -format”命令。 解决方法(1):只需要删除format生成的目录位置,默认为“/tmp/hadoop-username”。2、MapReduc...原创 2013-11-14 23:14:22 · 239 阅读 · 0 评论 -
使用MRUnit测试hadoop的MapReduce
1、MRUnit下载地址:http://mrunit.apache.org/2、简单的mapred输入、输出测试,示例参考来自:https://cwiki.apache.org/confluence/display/MRUNIT/MRUnit+Tutorial import java.io.IOException;import org.apache.hadoop.i...原创 2014-03-08 23:08:04 · 163 阅读 · 0 评论 -
hadoop命令操作记录
FS 1、使用-text参数将gzip和sequence file转换为文本格式并输出 $HADOOP_HOME/hadoop fs -text /sorted/part-00000 | head hadoop-example.*.jar1、使用Hadoop自带示例JAR中的排序进行排序测试。下面示例中设定了输入格式为SequenceFile格式...原创 2014-02-25 23:09:28 · 164 阅读 · 0 评论 -
Hadoop 2.x安装配置LZO
文档转载自:http://blog.csdn.net/lalaguozhe/article/details/10912527今天尝试在Hadoop 2.x(YARN)上安装和配置LZO,遇到了很多坑,在这边记录整个安装配置过程1. 安装LZO下载lzo 2.06版本,编译64位版本,同步到集群中 wget http://www.oberhumer.com/opensource/lzo...原创 2014-02-18 21:22:18 · 204 阅读 · 0 评论 -
Hadoop Could not load native gpl library异常解决
转载自:http://guoyunsky.iteye.com/blog/1237327 ERROR lzo.GPLNativeCodeLoader: Could not load native gpl library java.lang.UnsatisfiedLinkError: no gplcompression in java.library.path a...原创 2014-02-17 22:12:46 · 1442 阅读 · 0 评论 -
深入学习《Programing Hive》:Tuning
转自:深入学习《Programing Hive》:Tuning HiveQL是一种声明式语言,最终会被编译为MapReduce job提交到Hadoop执行。大多情况下,用户并不需要知道Hive是如何运作——只关注手头的业务处理问题就行了。虽然Hive引擎会在在 HiveQL语句编译过程中最许多的复杂的工作——查询解析、规划、优化和执行等复杂过程,但是用户大部分时间都可以无视这些过程。...原创 2014-02-07 00:09:22 · 110 阅读 · 0 评论 -
创建hive自定义函数
1、引用包:(1)、引用$HIVE_HOME/lib下的所有jar包;(2)、引用$HADOOP_HOME/hadoop-core-xx.xx.jar包2、源码(1)示例1package org.robby.hive.udf;import org.apache.hadoop.hive.ql.exec.UDF;import org.apache.hadoop.io...原创 2014-02-05 10:35:49 · 125 阅读 · 0 评论 -
安装hadoop-lzo压缩库
Ubuntu或debain可以使用以下命令进行安装即可。 sudo apt-get install liblzo2-dev lzop CentOS或RedHat需要从以下地址去下载:liblzo2-2.06-alt1.i586.rpm liblzo2-devel-2.06-alt1.i586.rpm 2、下载apache ant3、 https://gi...原创 2014-02-03 22:41:53 · 187 阅读 · 0 评论 -
hive的SQL操作记录
partition:1、删除表、创建外部表和分区、根据分区导入数据dfs -rmr /tmp/ext/tab_name1; --删除hadoop文件系统中的目录及文件dfs -mkdir /tmp/ext/tab_name1;--重新创建目录。建表前需要先创建与表名称对应的目录才行drop table if exists tab_name1;create exte...原创 2014-02-03 16:56:30 · 1225 阅读 · 0 评论 -
Hive 问题处理记录
1、引用同志的链接:http://godlovesdog.iteye.com/blog/1897602 问题1:Specified key was too long; max key length is 767 bytes在进入Hive后可以show databases; 但create table, show tables;等命令都报错,如下:[ihadoop@Master ...原创 2014-02-03 10:38:58 · 165 阅读 · 0 评论 -
第一节:编译自定义的Hadoop核心包,去除用户权限检查
本文参考eclipse连接远程hadoop集群开发时0700问题解决方案整理得来。 在window 下的eclipse开发map reduce时连接远程hadoop集群环境时会报错 错误信息:Exception in thread "main" java.io.IOException:Failed to set permissions of path:\tmp\hado...原创 2013-11-30 11:59:56 · 185 阅读 · 0 评论 -
第二节:win 7下编译eclispe hadoop plugin
本文参照后面地址的Linux编译方式:http://www.cnblogs.com/chenying99/archive/2013/05/31/3109566.html 1、下载ANT,apache-ant-1.9.2-bin.tar.gz Hadoop 1.2.1 eclipse-java-indigo-SR2-win32.zip ...原创 2013-11-29 19:12:02 · 95 阅读 · 0 评论 -
zookeeper 启动错误问题
1、3888端口一直无法连接上 -04 00:06:50,339 [myid:] - INFO [main:QuorumPeerConfig@103] - Reading configuration from: /home/conkeyn/zookeeper-3.4.6/bin/../conf/zoo.cfg2014-12-04 00:06:50,344 [myid:] - WAR...原创 2014-12-04 16:31:21 · 856 阅读 · 0 评论