Hadoop/HBase
文章平均质量分 55
JerryDeng
这个作者很懒,什么都没留下…
展开
-
hive导出查询结果到本地文件
最近在使用hive时,需要将hive查询的数据导出到本地文件系统,HQL语法如下:INSERT OVERWRITE [LOCAL] DIRECTORY directory1 select_statement1 查询结果导出到本地文件后,试图使用excel加载时遇上了麻烦:不知道hive导出文件时使用的分隔符, 使用文本编辑器打开也显示乱码。 最后在官方文档上找了半天才发现,hive转载 2014-07-24 14:07:08 · 1260 阅读 · 0 评论 -
phoenix on cloudera
Apache Phoenix for Cloudera CDHApache Phoenix is a relational database layer over HBase delivered as a client-embedded JDBC driver targeting low latency queries over HBase data. Apache Phoenix转载 2015-03-16 15:22:30 · 1980 阅读 · 0 评论 -
Table is neither enables nor disabled in HBase
问题:I am facing a weird problem. I was accessing my HBase tables through an API. Midway during execution I got a RegionNotServing for my table 'x'. But My HRegionServers were working fine.Whe转载 2015-03-24 14:18:45 · 739 阅读 · 0 评论 -
hdfs介绍
【使用QJM构建HDFS HA架构(2.2+)】 本文主要介绍HDFS HA特性,以及如何使用QJM(Quorum Journal Manager)特性实现HDFS HA。 一、背景 HDFS集群中只有一个Namenode,这就会引入单点问题;即如果Namenode故障,那么这个集群将不可用,直到Namenode重启或者其他Namenode接入。 有两种方式会转载 2015-04-07 10:16:00 · 1488 阅读 · 0 评论 -
org.apache.hadoop.hdfs.server.namenode.LeaseExpiredException: org.apache.hadoop.hdfs.server.namenode
1.最近hbase的rgion经常挂掉一个,查看该节点日志发现如下错误:2014-02-22 01:52:02,194 ERROR org.apache.Hadoop.hbase.regionserver.HRegionServer: Close and delete failedorg.apache.hadoop.hdfs.server.namenode.LeaseExpired转载 2015-04-13 15:51:57 · 4358 阅读 · 0 评论 -
调试
hbase学习记录 参考http://abloz.com/hbase/book.html#d613e75 Step 1:修改conf/hbase-site.xml (单机版) Java代码 hbase.rootdir /usr/local/product/hbase-0.90.5/hbasedata转载 2015-04-13 15:53:07 · 638 阅读 · 0 评论 -
Cannot Start HBase Master: SplitLogManager: Error Splitting
I could not start HBase within Cloudera Manager, the service reported errors. I was initially confused because I could start the Master when the RegionServers were stopped, but as soon as I started a转载 2015-04-09 18:19:47 · 1481 阅读 · 0 评论 -
copy data from difrent version hadoop
I had to copy data from one Hadoop cluster to another recently. However, the two clusters ran different versions of Hadoop, which made using distcp a little tricky.Some notes of distcp: By default转载 2015-04-09 18:27:17 · 990 阅读 · 0 评论 -
实时系统HBase读写优化--大量写入无障碍
在使用hbase过程中发现在写入hbase的数据量很大时,经常发生写不进去的情况。而我们基于hbase的应用是对实时性要求很高的,一旦hbase不能读写则会大大影响系统的使用。下面将记录hbase写优化的过程。1.禁止Major Compaction在hbase进行Major Compaction时,该region将合并所有的storefile,因此整个region都不转载 2015-04-09 13:58:18 · 769 阅读 · 0 评论 -
hadoop系列端口
周海汉 /文2012.9.13本文地址:http://abloz.com/2012/09/13/the-hadoop-system-of-port.htmlhadoop系统部署时用到不少端口。有的是Web UI所使用的,有的是内部通信所使用的,有的是监控所使用的。实际系统中可能用于防火墙的端口设计。一些内部通信用的端口可能也需要外部能访问。如两个集群的数据对拷。1.系统转载 2015-05-06 20:50:39 · 719 阅读 · 0 评论 -
使用hbase自带工具测试读写速率
性能测试结果 hbase/bin/hbase org.apache.hadoop.hbase.PerformanceEvaluation sequentialWrite 1org.apache.hadoop.hbase.PerformanceEvaluation$SequentialWriteTest in 66382ms at offset 0 for 1048576 rows转载 2015-07-29 10:03:15 · 2992 阅读 · 0 评论 -
HTablePool 在Hbase 0.94、0.95、0.97被废弃,在0.98中被清除( HTablePool 对比HConnection.getTable),hbase0.98
HTablePool 在Hbase 0.94、0.95、0.97被废弃,在0.98中被清除( HTablePool 对比HConnection.getTable),hbase0.98转载 2015-07-29 13:43:14 · 812 阅读 · 0 评论 -
Hadoop HBase 配置 安装 Snappy 终极教程
因为产品需要,这两天研究了一下Hadoop Snappy。先不说什么各个压缩算法之间的性能对比,单是这个安装过程,就很痛苦。网上有很多博友写Hadoop Snappy安装过程,大部分是照着Google的文档翻译了一遍,并没有列举出遇到的问题。有的博文,明明其验证提示是错误的,还说如果输出XXX,说明安装成功了。费了老大的劲,终于安装成功了,现将详细步骤及遇到的问题,一一列出,只希望接下来需要研究及转载 2015-07-29 17:54:45 · 905 阅读 · 0 评论 -
Phoenix 4.3.0 与 Hbase0.98.10-hadoop2的整合,hbase0.98
http://blog.csdn.net/eric_sunah/article/details/44173815Phoenix 4.3.0 与 Hbase0.98.10-hadoop2的整合,hbase0.98介绍:Phoenix查询引擎会将SQL查询转换为一个或多个HBase scan,并编排执行以生成标准的JDBC结果集。直接使用HBase API、协同处理器与自定义过滤器转载 2015-03-16 15:17:08 · 981 阅读 · 0 评论 -
操作meta表
sudo -su hbase hadoop fs -rm -r /hbase/O_P_NEW转载 2015-03-27 10:11:33 · 706 阅读 · 0 评论 -
基于大数据报表系统
原始数据进入hbase。原创 2014-07-24 14:02:44 · 1573 阅读 · 0 评论 -
提升HBase写性能
---------------------------------------------------------------------------------------------------------------本文主要介绍软件层面的性能调优。故,在此之前,请检查硬件状况。硬盘推荐SSD,一般SATA即可。网络千兆以上。可以安装Ganglia等工具,检查各节点的各硬件的运作状态:转载 2014-08-25 15:55:09 · 673 阅读 · 0 评论 -
生成HFile以及入库到HBase
1. MapReduce 生成 HFilepackage insert.tools.hfile;import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apache.hadoop.hbase.HBaseConf转载 2014-08-27 13:15:19 · 952 阅读 · 0 评论 -
Cassandra数据库Java访问
针对的时Cassandra 2.0 数据库Java本地客户端访问Cassandra,首先建立Java工程,使用Maven进行管理。引入依赖: com.datastax.cassandra cassandra-driver-core 2.1.01. 类似Elasticsearch的方式,现在客户端构建一个集群对象:Cluster cluster = Cl原创 2014-10-24 17:53:16 · 1283 阅读 · 1 评论 -
如何“打败”CAP定理
文 / Nathan Marz 译 / 方建CAP定理是数据系统设计的基本理论,目前几乎所有的数据系统的设计都遵循了这个定理。但CAP定理给目前的数据系统带来了许多复杂的、不可控的问题,使得数据系统的设计越来越复杂。Twitter首席工程师、Storm的作者Nathan Marz在本文中通过避开CAP定理带来的诸多复杂问题,展示了一个不同于以往的数据系统设计方案,给我们的数据系统设计带转载 2014-10-27 10:48:00 · 652 阅读 · 0 评论 -
对于HBase的MapReduce性能提升方案之BulkLoad
我们知道,在第一次海量数据批量入库时,我们会选择使用BulkLoad的方式。简介一下BulkLoad原理方式:(1)通过MapReduce的方式,在Map或者Reduce端将输出格式化为HBase的底层存储文件HFile。(2)调用BulkLoad将第一个Job生成的HFile导入到对应的HBase表中。ps:请注意(1)HFile方式是所有的加载方案里面是最快的,前提是:数据必须第一个导原创 2014-10-16 18:14:40 · 2757 阅读 · 0 评论 -
HBase之普通BulkLoad
HBase 之 Bulkload原创 2014-10-20 14:40:28 · 939 阅读 · 0 评论 -
分布式爬虫系统
写在前面:1. 整个爬虫系统,简介:采用Thrift,Netty作为模块通信和网络通信,使用Zookeeper实现分布式管理,底层存储使用HBase。2. 动静结合爬取模块实现方式。3. 智能提取算法,相似性算法,PageRank算法等,实现爬取策略,爬取调度。4. 可扩展性,a.对于主题爬虫(垂直爬虫),站点爬虫灵活充分转变。b. 爬虫性能水平扩展。5. 爬取状态监控。-原创 2014-12-06 17:05:39 · 1518 阅读 · 0 评论 -
hbase中meta表信息查看
Hi,We had the same problem.We solve it this way:hbase zk_cli-ls /hbase/tablesThe table was still on Zookeeper.Deleted the table from zookeeper (rmr).Restart Hbase Masters, restart hbase转载 2015-03-26 11:30:20 · 7511 阅读 · 0 评论 -
hadoop 1.2.1 eclipse 插件编译
hadoop-1.2.1 eclipse插件编译 在ubuntu上进行hadoop相关的开发,需要在eclipse上安装hadoop开发插件。最新释放出的hadoop包含源码的包,以hadoop-1.1.1为例,包含相关的eclipse插件的源码,因此可以针对自己的eclipse版本来编译一个hadoop的eclipse插件,我的eclipse的版本代号为indigo,以此为例,下转载 2013-10-17 09:40:36 · 1066 阅读 · 0 评论 -
数据平台
阿里数据平台:http://www.alidata.org/archives/1509转载 2015-03-26 17:45:04 · 603 阅读 · 0 评论 -
删除meta表
因为集群硬盘紧俏,绝对对原来的表加上COMPRESSION=>LZO属性。但是创建表,长时间没有反馈。决定drop掉这张表,但是始终drop失败。重启集群,hbase 60010界面显示有region transaction。为创建失败的表region,在PENDING_OPEN和CLOSED之间跳。describe 表失败, enable表失败,disable表失败,从60010界面查看表失败。转载 2015-03-26 10:09:56 · 855 阅读 · 0 评论 -
【HBase工具】查看解析HFile
查看HFile是HBase本身自带的一个很实用的工具 使用也很简单: $ ${HBASE_HOME}/bin/hbase org.apache.hadoop.hbase.io.hfile.HFile usage: HFile [-a] [-b] [-e] [-f ] [-k] [-m] [-p] [-r ] [-v] -a,--checkfamily Enable转载 2015-07-29 10:05:10 · 1967 阅读 · 0 评论