hadoop
文章平均质量分 77
思年华
赫尔辛基的码农
展开
-
hive中partition如何使用(转载)
网上有篇关于hive的partition的使用讲解的比较好,转载了:一、背景1、在Hive Select查询中一般会扫描整个表内容,会消耗很多时间做没必要的工作。有时候只需要扫描表中关心的一部分数据,因此建表时引入了partition概念。2、分区表指的是在创建表时指定的partition的分区空间。3、如果需要创建有分区的表,需要在create表的时候调用可选参数partitio转载 2012-08-09 11:43:58 · 916 阅读 · 0 评论 -
Hive DFSclient
最近写hive的UDF,由于在UDF中操作了HDFS,测试jar包一直是正常的,但一到集群的hive环境中去测试就包错java.io.IOException: Filesystem closed at org.apache.hadoop.hdfs.DFSClient.checkOpen(DFSClient.java:272) at org.apache.hadoop.hdfs.DFSC原创 2012-08-28 18:41:47 · 2784 阅读 · 1 评论 -
Error:hbase.PleaseHoldException: Master is initializing
原文:http://blog.csdn.net/fansy1990/article/details/7909839今天做了以下HBase的相关安装和配置,启动HBase没有问题,但是使用bin/hbase shell 命令转换到shell下时,使用比如命令,list.、create 'table','col' 等等都会出错,下面贴的是log里面的error部分:012-08-2转载 2012-09-12 16:49:25 · 8437 阅读 · 2 评论 -
HBase Java API详解
转自:http://www.open-open.com/lib/view/open1342514370807.htmlHBase是Hadoop的数据库,能够对大数据提供随机、实时读写访问。他是开源的,分布式的,多版本的,面向列的,存储模型。在讲解的时候我首先给大家讲解一下HBase的整体结构,如下图:HBase Master是服务器负责管理所有的HRegion服务器转载 2012-09-14 08:59:02 · 789 阅读 · 0 评论 -
ERROR: org.apache.hadoop.hbase.MasterNotRunningException
今天运行hbase的时候发现这个错误:ERROR: org.apache.hadoop.hbase.MasterNotRunningException: Retried 7 times查看log,发现大量的2012-04-26 08:13:39,600 INFO org.apache.hadoop.hbase.util.FSUtils: Waiting for dfs to转载 2012-09-14 11:25:42 · 3965 阅读 · 0 评论 -
hive创建分区表问题
今天在应用别人提供的新安装的hadoop集群环境时,创建Hive表成功却不能添加数据,不添加任何数据也不能查询。在网上找到这个帖子:http://blog.csdn.net/chenyi8888/article/details/7165519 正好解决了我的问题,在此分享。最近在使用hive的时候,metadata我是放在mysql(是5.5的版本)里的。当时mysql转载 2012-09-17 17:36:26 · 2185 阅读 · 1 评论 -
hadoop 常见错误
转自:http://my.oschina.net/u/248570/blog/42614(一)启动hadoop集群时易出现的错误:1. 错误现象:java.net.NoRouteToHostException: No route to host. 原因:master服务器上的防火墙没有关闭。 解决方法: 在master上关闭防火墙转载 2012-10-18 14:02:43 · 648 阅读 · 0 评论 -
通过Hive执行任务,异常——Hive:Connection refused;Hadoop:too many open files
问题背景:工作中需要用到Hiveserver提交任务到hadoop进行离线计算,在正常测试运行整个离线计算任务几遍后,在后面提交任务的运行过程中遇到该异常。问题表现:从监控模块放回的异常与Hive中日志异常一样,均为如下所示:2013-03-01 15:14:12 [ERROR] [SummaryReport] [orderNumStatics/订单量] File原创 2013-03-13 16:51:35 · 6363 阅读 · 0 评论