![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
BigData
IT冲浪者
这个作者很懒,什么都没留下…
展开
-
hbase配置与优化
集群环境:192.168.11.12 作为hbase主master192.168.11.14 作为hbase备用master 192.168.11.16作为zookeeperNode/HRegionsever192.168.11.18作为zookeeperNode/HRegionsever192.168.11.20作为zookeeperNode/HR转载 2014-01-06 14:55:33 · 1934 阅读 · 0 评论 -
HBase中LeaseException及ClosedChannelException解决办法
随着数据量的增大,HIVE查询HBase的时候又出现了scan数据缓慢的问题,上次是因为跨网段读数据没有设置client端cache,这次是在HBase regionserver的log中出现了如下错误: [plain] view plaincopyorg.apache.hadoop.hbase.regionserver.LeaseExc转载 2014-01-07 17:13:11 · 1355 阅读 · 0 评论 -
hbase 多用户写操作 regionserver突然宕掉(一)
近期对hbase多用户插入数据时,regionserver会莫名奇妙的关闭,regionserver的日志有很多异常:如下:org.apache.hadoop.hbase.DroppedSnapshotException: region: t,12130111020202,1369296305769.f14b9a1d05ae485981f6a8579f1324fb.转载 2014-01-07 15:20:16 · 1316 阅读 · 0 评论 -
关于HBase删除多行的讨论
有时候会有这样的需求,需要删除指定某些行的数据。但是笔者看《HBase权威指南》好像没有Delete的filter(过滤器),所以想了一下如果实现删除指定行的方法如果知道要删除某些行的行键,那么很简单,用List就可以完成这个功能如果要删除的行在表中是连续的,也就是删除指定范围的行,但是你还不知道这个范围内所有的行键,比如一个表中行键11-19的行,但是表中只有11,13,16。这转载 2014-01-07 15:28:13 · 1151 阅读 · 0 评论 -
ganglia监控的安装
以前安装过ganglia的监控,过程比较复杂,最近在新的集群环境下部署了监控,这里做个笔记。ganglia监控的架构图如下,相关的原理这里不多说了。1、配置yum的源这里利用公司的yum源,增加wxlab136.repo到/etc/yum.repos.d目录下[Server]name=10.1.1.136#baseurl=ftp://10.1.1.136/p转载 2014-01-07 17:19:08 · 832 阅读 · 0 评论 -
HBase的hbase.rpc.timeout参数引起的问题
在高并发压力测试时,发现对一个reginserver做scan操作的时,regionserver中偶尔会输出下面的错误:2013-02-21 09:50:33,328 WARN org.apache.hadoop.ipc.HBaseServer: IPC Server listener on 60020: readAndProcess threw exception java.io转载 2014-01-07 17:22:40 · 2152 阅读 · 0 评论 -
Hbase的优化总结
上面这张图不是一太清晰,我后面给个单独的连接 这里的HBase的优化主要从三个大的维度来进行分析1、系统硬件 采用普通的PC Server即可,Master要求高一点(比如8 CPU,48G内存,SAS raid),Regionserver(如8CPU,24G内存,1T*12 SATA JBOD) 对于存储regionserver节点采用JBO转载 2014-01-07 17:25:00 · 608 阅读 · 0 评论 -
HBase的的管理笔记
一、数据移植1、 bulk load toolimporttsv用法:importtsv -Dimporttsv.columns=a,b,c -Dimporttsv.skip.bad.lines=false - fail if encountering an invalid line'-Dimporttsv.separator=|' - eg separa转载 2014-01-07 17:29:04 · 740 阅读 · 0 评论 -
hbase 备份及恢复
1, hbase自带的备份恢复工具 hbase org.apache.hadoop.hbase.mapreduce.Export 'table1' /home/fred/table1 hbase org.apache.hadoop.hbase.mapreduce.Import 'table1' /home/fred/table1 导入时必须先创建表结构。 http://www.iteye.com/转载 2013-12-26 16:26:01 · 762 阅读 · 0 评论 -
hbase备份恢复
hbase本身提供的接口Usage: Import [options] By default Import will load data directly into HBase. To instead generateHFiles of data to prepare for a bulk data load, pass the option: -Dimport.bulk.outpu转载 2013-12-26 16:13:04 · 863 阅读 · 0 评论 -
Hadoop到底能做什么?怎么用hadoop?
hadoop是什么?(1)Hadoop是一个开源的框架,可编写和运行分不是应用处理大规模数据,是专为离线和大规模数据分析而设计的,并不适合那种对几个记录随机读写的在线事务处理模式。Hadoop=HDFS(文件系统,数据存储技术相关)+ Mapreduce(数据处理),Hadoop的数据来源可以是任何形式,在处理半结构化和非结构化数据上与关系型数据库相比有更好的性能,具有更灵活的处理能力,不管任转载 2014-02-10 14:28:01 · 3508 阅读 · 0 评论 -
在 Hadoop 上编写 MapReduce 程序
Map Reduce是包含两个过程:Map过程和Reduce过程。每一个过程都包含键值对作为输入,程序员可以选择键和值的类型。Map和Reduce的数据流是这样的:Input ==> Map ==> Mapper Output ==> Sort and shuffle ==> Reduce ==> Final Output使用Java编写Hadoop Map Reduce代转载 2014-02-10 14:26:07 · 828 阅读 · 0 评论 -
Impala入门笔记
问题背景:1. 初步了解Impala的应用2. 重点测试Impala的查询速度是否真的如传说中的比Hive快3~30倍写作目的:1. 了解Impala的安装过程2. 初步了解Impala的使用3. 比较Impala与Hive的性能测试适合阅读对象:1. 想了解Impala安装的读者2. 想了解Impala与Hive性能比较的读转载 2014-03-18 18:12:23 · 1157 阅读 · 0 评论 -
批量大数据生成工具
Data-Processer源码:在百度网盘,呵呵简介1、是什么?他是一个模拟数据生成器。我们在测试过程中,产生完整、全面的真实数据可能比较困难。我们可以根据需求,创建对应的模版和词典,利用数据模拟生成器生成我们需要的模拟数据。2、能做什么?他能够根据构建的模版和词典,生成我们需要的数据。三个应用场景:测试场景测试过程中,我们需要验证转载 2017-06-06 09:52:47 · 10722 阅读 · 0 评论 -
大数据测试方法
一.功能性测试 大数据功能主要涉及系统实现面向大数据分析应用的POSIX API,包括文件读取与访问控制,元数据操作,锁操作等功能;大数据分析系统的POSIX语义不同,实现的文件系统API也不同,功能测试要覆盖到大数据系统涉及实现的API和功能点;功能测试工作量大,应该重点考虑应用自动化测试方法进行,同时结合手动测试补充,自动化工具推荐ltp,fstest和lo转载 2017-06-06 10:14:51 · 3455 阅读 · 0 评论 -
分布式文件系统测试方法与测试工具
非结构化数据、大数据、云存储已经毫无争议地成为了信息技术发展趋势和热点,分布式文件系统作为核心基础被推到了浪潮之巅,广泛被工业界和学术界热推。现代分布式文件系统普遍具有高性能、高扩展、高可用、高效能、易使用、易管理等特点,架构设计的复杂性使得系统测试也非常复杂。从商业产品ISILON, IBRIX, SONAS, Filestore, NetApp GX, Panasas, StorNext,转载 2017-06-06 10:19:49 · 3844 阅读 · 0 评论 -
2 分钟读懂大数据框架 Hadoop 和 Spark 的异同
谈到大数据,相信大家对Hadoop和Apache Spark这两个名字并不陌生。但我们往往对它们的理解只是提留在字面上,并没有对它们进行深入的思考,下面不妨跟我一块看下它们究竟有什么异同。解决问题的层面不一样首先,Hadoop和Apache Spark两者都是大数据框架,但是各自存在的目的不尽相同。Hadoop实质上更多是一个分布式数据基础设施: 它将巨大的数据集分派到一个由普通计算机组成转载 2017-06-06 10:37:39 · 423 阅读 · 0 评论 -
HBase 官方文档-中文版
来源:http://www.yankay.com/wp-content/hbase/book.html HBase 官方文档Copyright © 2010 Apache Software Foundation, 盛大游戏-数据仓库团队-颜开(译)Revision HistoryRevision 0.90.4转载 2014-01-07 16:52:47 · 2475 阅读 · 0 评论 -
非集群client访问HBase方法
对HBase的操作,有时候需要不在集群内部,也就是说A、B、C三台主机构建HBase,现在需要主机D来操作HBase。client是通过Zookeeper来访问HBase的,而Zookeeper通过DNS解析主机名来访问ip,通过以下两步就可以用主机D来操作HBase把client的hosts上添加A,B,C的主机名和ip(linux是/etc/hosts,windows是c:\w转载 2014-01-07 15:48:01 · 685 阅读 · 0 评论 -
HBase 学习笔记---守护进程及内存调优
1、HMaster HMaster的任务前面已经说过了,两个大方向:一、管理Hbase Table的 DDL操作 二、region的分配工作,任务不是很艰巨,但是如果采用默认自动split region的方式, HMaster会稍微忙一些,负载不大,可适度对此进程做适量放大heap 的操作,但不可太大,因为更耗内存的是HRegionServer 2转载 2014-01-06 15:41:05 · 1046 阅读 · 0 评论 -
HBase性能调优
HBase性能调优 配置优化 zookeeper.session.timeout 默认值:3分钟(180000ms) 说明:RegionServer与Zookeeper间的连接超时时间。当超时时间到后,ReigonServer会被Zookeeper从RS集群清单中移除,HMaster收到移除通知后,会对这台server负责的regions重新balance,让其他存活的RegionSe转载 2014-01-06 15:14:58 · 632 阅读 · 0 评论 -
HBase性能优化方法总结
本文主要是从HBase应用程序设计与开发的角度,总结几种常用的性能优化方法。有关HBase系统配置级别的优化,这里涉及的不多,这部分可以参考Hbase性能调优1. 表的设计1.1 Pre-Creating Regions默认情况下,在创建HBase表的时候会自动创建一个region分区,当导入数据的时候,所有的HBase客户端都向这一个region写数据,直到这个region足够大转载 2014-01-06 15:50:07 · 506 阅读 · 0 评论 -
提升HBase性能的几个地方
摘要:1、使用bloomfilter和mapfile_index_interval 注意:在1.9.3版本的hbase中,bloomfilter是不支持的,存在一个bug,可以通过如下的修改加以改正: (1)、在方法org.apache.hadoop.hbase.regionserver.HStore.createReaders()中,1、使用bloomfilter和mapfile_i转载 2014-01-06 15:53:03 · 582 阅读 · 0 评论 -
hbase shell 总结 (待续)
下面我们看看HBase Shell的一些基本操作命令,我列出了几个常用的HBase Shell命令,如下:名称命令表达式创建表create '表名称', '列名称1','列名称2','列名称N'添加记录 put '表名称', '行名称', '列名称:', '值'查看记录转载 2014-01-06 15:57:52 · 517 阅读 · 0 评论 -
Hadoop&Hbase 备份方案--Pacemaker&DRBD
Hadoop&Hbase 备份方案--Pacemaker&DRBD需求实现namenode的双机热备,保证Hadoop&Hbase的高可用性(HA)。方案描述当主namenode所在服务器宕机的时候,其服务和数据可迅速,完整,无缝的迁移到备份namenode从而保证hadoop集群的高可用性,持续的向外提供服务。转载 2014-01-06 16:09:43 · 761 阅读 · 0 评论 -
Hadoop&Hbase 双机热备--Pacemaker&DRBD部署
相关文章 DRBD的介绍请参考http://blog.csdn.net/rzhzhz/article/details/7103772 DRBD的部署请参考http://blog.csdn.net/rzhzhz/article/details/7107115 Pacemaker的介绍请参考http://blog.csdn.net/rzhzhz/article/details/转载 2014-01-06 16:13:12 · 698 阅读 · 0 评论 -
HBase建表函数createTable的几点说明
HBase建表函数提供了四个重载函数,分别是[java] view plaincopyprint?void createTable(HTableDescriptor desc) void createTable(HTableDescriptor desc, byte[] startKey,byte[] endKey, int numRe转载 2014-01-07 15:17:22 · 2845 阅读 · 0 评论 -
hbase 多用户写操作 regionserver突然宕掉(二)
hbase多用户写入数据 写了十个小时左右 regionserver就宕机了 查看regionserver的日志文件,异常很平常,如下:org.apache.hadoop.ipc.RemoteException: java.io.IOException: File /hbase/t/ff0b5a311419578f75678c21d5a27148/.tmp/57086375024405转载 2014-01-07 15:22:20 · 747 阅读 · 0 评论 -
Hadoop源码分析----Client的open、seek和read操作
hadoop虽然没有提供POSIX那样的操作,但是提供的基本的文件操作open,create,delete,write,seek,read还是令用户可以方便的操作文件。下面是一段寻常的hadoop打开文件并且读取文件内容的代码:hdfs=hdfsPath.getFileSystem(conf);inFsData=hdfs.open(p);inFsData.seek(place);inFsData.转载 2014-01-07 15:25:06 · 1082 阅读 · 0 评论 -
Hadoop源代码的边角料:HDFS的数据通信机制
http://blog.csdn.net/historyasamirror/article/details/6281689这阵子花了点时间读了读HDFS的源代码。有所得。不过网上关于Hadoop源代码的解析已经挺多了,所以自称为“边角料”,也就是一些零散的心得和想法。 简单而言,HDFS分为了三个部分:NameNode,处于master的地位,维护了数据在Dat转载 2014-01-07 15:46:19 · 636 阅读 · 0 评论 -
在大迸发写时,HBase的HDFS DFSClient端报SocketTimeoutException的问题分析和解决
异常日志:2012-03-02 12:11:21,983 WARN org.apache.hadoop.hdfs.DFSClient: DFSOutputStream ResponseProcessor exception for block blk_1439491087566691588_6207java.net.SocketTimeoutException: 69000 millis转载 2014-01-07 15:13:46 · 924 阅读 · 0 评论 -
HBase 系统架构
HBase是Apache Hadoop的数据库,能够对大型数据提供随机、实时的读写访问。HBase的目标是存储并处理大型的数据。HBase是一个开源的,分布式的,多版本的,面向列的存储模型。它存储的是松散型数据。HBase特性:1 高可靠性2 高效性3 面向列4 可伸缩5 可在廉价PC Server搭建大规模结构化存储集群HBase是Goog转载 2014-01-07 15:33:07 · 509 阅读 · 0 评论 -
浅析hadoop写入数据api
对于一般文件,都有满足随机读写的api。而hadoop中的读api很简单用FSDataInputStream类就可以满足一般要求,而hadoop中的写操作却是和普通java操作不一样。hadoop对于写操作提供了一个类:FSDataOutputStream,这个类重载了很多write方法,用于写入很多类型的数据:比如字节数组,long,int,char等等。像FSDataInput转载 2014-01-07 15:35:06 · 795 阅读 · 0 评论 -
HBase数据写入测试
测试环境测试硬件:4核i5处理器,8G内存,1T硬盘,千兆网络测试软件:ubuntu12.10 64位,hadoop版本:0.20.205,hbase版本:0.90.5测试设置:一个master(namenode)和三台resigonServer(datanode),向HBase集群写入1千万个数据(一个数据15K左右)测试结果转载 2014-01-07 15:39:26 · 915 阅读 · 0 评论 -
关于hadoop的API写文件的备份数问题
今天用hadoop API打算往hadoop集群创建几个文件,然后写入数据试试,结果问题发生了,我的配置文件备份数是1,但是不管我怎么创建,创建的文件备份数都是3。代码如下:[html] view plaincopyprint?span style="font-size:14px;"> public static void testHDFS转载 2014-01-07 15:43:31 · 710 阅读 · 0 评论 -
一步步教你Hadoop多节点集群安装配置
一步步教你Hadoop多节点集群安装配置1、集群部署介绍1.1 Hadoop简介 Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。以Hadoop分布式文件系统HDFS(Hadoop Distributed Filesystem)和MapReduce(Google MapReduce的开源实现)为核心的Hadoop为用户提供了系统底层细节透明的分转载 2017-10-30 21:46:46 · 554 阅读 · 0 评论