2017年03月_LuckyJiang.2021

08月 07月 05月 04月 03月 02月 01月

转载 HBase连接池 -- HTablePool被Deprecated以及可能原因是什么

本帖最后由 pig2 于 2014-8-28 00:51 编辑问题导读：1.官方如何解释HTablePool被弃用的2.使用哪个类，代替HTablePool？3.使用HConnectionManager如何创建表？1.连接HTable是HBase的client，负责从meta表中找到目标数据所在的RegionServers，当定位到目标RegionS

2017-03-19 21:59:10 1369

转载 HBase – 并发控制机制解析

问题导读：1.HBase同步机制是什么？2.HBase行锁是怎样实现的？3.HBase怎样实现数据的读写并发控制？作为一款优秀的非内存数据库，HBase和传统数据库一样提供了事务的概念，只是HBase的事务是行级事务，可以保证行级数据的原子性、一致性、隔离性以及持久性，即通常所说的ACID特性。为了实现事务特性，HBase采用了各种并发控

2017-03-19 21:53:50 602

转载查看HBase表在HDFS中的文件结构

问题导读：1.hdfs中的建立的目录. 表与目录的关系式什么？一个表是否对应一个目录？2.-ROOT-表和.META对应几个文件？3.splitlog和.corrupt目录是用来做什么的？4.通过http查看文件，需要配置那个文件？为了查看HBASE表在HDFS中的文件结构.在HBASE中建立一张表结构如下:{NAME =>

2017-03-19 21:52:42 7633

转载 HBase Flush操作流程以及对读写服务的影响

问题导读1.HBase的Flush触发有几种方式？2.HBase的Flush触发有哪些条件？3.指定的Region写入hdfs包含哪些过程？HBase的Flush操作的触发条件：1)Manual调用，HRegionInterface#flushRegion，可以被用户态org.apache.hadoop.hbase.client.HB

2017-03-19 21:45:47 1769

转载 HBase使用经验总结

问题导读1.hbase表中的属性分别都是什么含义？2.hbase中如何实现预分区？3.hbase中本文采用了哪些优化方法？一、hbase中的常见属性 VERSIONS：指版本数 MIN_VERSIONS=> '0'：最小版本数 TTL=> 'FOREVER'：版本存活时间假设ve

2017-03-19 21:37:22 2834

转载 HBase －数据写入流程解析

众所周知，HBase默认适用于写多读少的应用，正是依赖于它相当出色的写入性能：一个100台RS的集群可以轻松地支撑每天10T的写入量。当然，为了支持更高吞吐量的写入，HBase还在不断地进行优化和修正，这篇文章结合0.98版本的源码全面地分析HBase的写入流程，全文分为三个部分，第一部分介绍客户端的写入流程，第二部分介绍服务器端的写入流程，最后再重点分析WAL的工作原理。客户端流程解析

2017-03-19 21:28:59 2208

转载 HBase －建表语句解析

像所有其他数据库一样，HBase也有表的概念，有表的地方就有建表语句，而且建表语句还很大程度上决定了这张表的存储形式、读写性能。比如我们熟悉的MySQL，建表语句中数据类型决定了数据的存储形式，主键、索引则很大程度上影响着数据的读写性能。虽然HBase没有主键、索引这些概念，但在HBase的世界里，有些东西和它们一样重要！废话不说，直接奉上一条HBase建表语句，来为各位看官分解剖析：

2017-03-19 21:27:55 3391

转载 HBase最佳实践 – 客户端重试机制

在运维HBase的这段时间里，发现业务用户一方面比较关注HBase本身服务的读写性能：吞吐量以及读写延迟，另一方面也会比较关注HBase客户端使用上的问题，主要集中在两个方面：是否提供了重试机制来保证系统操作的容错性？是否有必要的超时机制保证系统能够fastfail，保证系统的低延迟特性？这个系列我们集中介绍HBase客户端使用上的这两大问题，本文通过分析之前一个真实的案例来介绍HBase

2017-03-19 21:26:49 2135 2

上篇博文结合一起线上问题介绍了HBase客户端基于退避算法的重试机制，并分析得出在某些场景下如果重试策略设置不当会导致长时间的业务阻塞。除了重试机制外，业务童鞋最关心的就是超时机制了。客户端超时设置对整个系统的稳定性以及敏感性至关重要，一旦没有超时设置或超时时间设置过长，服务器端的长时间卡顿必然会引起客户端阻塞等待，进而影响上层应用。好在HBase提供了多个客户端参数设置超时，主要包括 hbase

2017-03-19 21:26:18 1586

转载 HBase最佳实践－内存规划

线上HBase集群应该如何进行参数配置？这其实是很多HBase初学者在实践环节都可能会遇到的问题，有些人会选择默认配置，有些人会选择其他公司的推荐配置；诚然，这样的参数配置在大多数情况下都能正常工作，但性能却未必最佳、资源未必都能被合理利用。本文结合笔者的实践经验，针对不同应用场景，对多种工作模式下的参数进行详细说明，并结合相关示例对集群规划中最核心模块-内存规划进行介绍。一方面希望读者能够了解H

2017-03-19 21:25:42 739

转载 HBase最佳实践－列族设计优化

随着大数据的越来越普及，HBase也变得越来越流行。会用HBase现在已经变的并不困难，然而，怎么把它用的更好却并不简单。那怎么定义‘用的好’呢？很简单，在保证系统稳定性、可用性的基础上能够用最少的系统资源（CPU,IO等）获得最好的性能（吞吐量，读写延迟）就是’用的好’。HBase是一个庞大的体系，涉及到很多方面，很多因素都会影响到系统性能和系统资源使用率，根据场景对这些配置进行优化会很大程度上

2017-03-19 21:25:09 667

转载 HBase最佳实践－集群规划

http://hbasefly.comHBase自身具有极好的扩展性，也因此，构建扩展集群是它的天生强项之一。在实际线上应用中很多业务都运行在一个集群上，业务之间共享集群硬件、软件资源。那问题来了，一个集群上面到底应该运行哪些业务可以最大程度上利用系统的软硬件资源？另外，对于一个给定业务来说，应该如何规划集群的硬件容量才能使得资源不浪费？最后，一个给定的RegionServ

2017-03-19 21:23:57 736

转载 HBase原理－数据读取流程解析

和写流程相比，HBase读数据是一个更加复杂的操作流程，这主要基于两个方面的原因：其一是因为整个HBase存储引擎基于LSM-Like树实现，因此一次范围查询可能会涉及多个分片、多块缓存甚至多个数据存储文件；其二是因为HBase中更新操作以及删除操作实现都很简单，更新操作并没有更新原有数据，而是使用时间戳属性实现了多版本。删除操作也并没有真正删除原有数据，只是插入了一条打上”deleted”标签的

2017-03-19 21:17:01 9715 1

转载 HBase最佳实践－写性能优化策略

上一篇文章主要介绍了HBase读性能优化的基本套路，本篇文章来说道说道如何诊断HBase写数据的异常问题以及优化写性能。和读相比，HBase写数据流程倒是显得很简单：数据先顺序写入HLog，再写入对应的缓存Memstore，当Memstore中数据大小达到一定阈值（128M）之后，系统会异步将Memstore中数据flush到HDFS形成小文件。HBase数据写入通常会遇到两类问题

2017-03-19 21:12:57 6000

转载 HBase最佳实践－读性能优化策略

问题导读1、读请求延迟较大存在在哪些场景？2、scan缓存是否设置合理？3、get请求是否可以使用批量请求？4、请求是否可以显示指定列族或者列？5、离线批量读取请求是否设置禁止缓存？6、读请求是否均衡？7、 BlockCache是否设置合理？8、HFile文件是否太多？9、 Compaction是否消耗系统资源过多？10、 Bloomfilter是否设置

2017-03-19 20:54:30 915

转载 HBase最佳实践－列族设计优化

问题导读：1.BLOCKSIZE属性在不同场景下应该如何设置？2.COMPRESSION属性和DATA_BLOCK_ENCODING属性的区别是什么？3.Hbase需要注意哪些设计原则？随着大数据的越来越普及，HBase也变得越来越流行。会用HBase现在已经变的并不困难，然而，怎么把它用的更好却并不简单。那怎么定义‘用的好’呢？很简单，在保证系统稳

2017-03-19 20:43:25 462

转载对提高HBase写性能的一些思考

以下为使用Hbase一段时间的三个思考，由于在内存充足的情况下hbase能提供比较满意的读性能，因此写性能是思考的重点。希望读者提出不同意见讨论1 autoflush=false的影响无论是官方还是很多blog都提倡为了提高hbase的写入速度而在应用代码中设置autoflush=false，然后lz认为在在线应用中应该谨慎进行该设置。原因如下： a autoflush=

2017-03-19 20:40:14 665

转载 hbase大规模数据写入的优化历程

业务背景：由于需要将ngix日志过滤出来的1亿+条用户行为记录存入Hbase数据库，以此根据一定的条件来提供近实时查询，比如根据用户id及一定的时间段等条件来过滤符合要求的若干行为记录，满足这一场景的技术包括：Solr，Elasticsearch，hbase等，在此选用了Hbase来实践。step 1 :直接hbase建表，然后读取记录文件逐条写入Hbase。由于hbase实际的写入速度远

2017-03-19 20:28:35 793

转载 FtpClient中文乱码问题解决

最近在做文件服务器的相关东西，在原有的磁盘存储的基础上，增加了Ftp的存储方式，客户端选用的是Apache的FtpClient。今天在测试的时候，发现中文的路径后者文件名不支持，查阅了相关资料后终于找到了解决的方法。使用类：org.apache.commons.net.ftp.FTPClient 问题描述：创建中文目录、上传中文文件名时，目录名及文件名中的中文显示乱码

2017-03-14 07:58:12 5720 2

转载 JAVA 对象引用，以及对象赋值

Java对象及其引用关于对象与引用之间的一些基本概念。初学Java时，在很长一段时间里，总觉得基本概念很模糊。后来才知道，在许多Java书中，把对象和对象的引用混为一谈。可是，如果我分不清对象与对象引用，那实在没法很好地理解下面的面向对象技术。把自己的一点认识写下来，或许能让初学Java的朋友们少走一点弯路。为便于说明，我们

2017-03-14 07:51:20 316

原创 JMeter结果分析介绍

线程组1、线程数：虚拟用户数。一个虚拟用户占用一个进程或线程。设置多少个虚拟用户数在这里也就是设置多少个线程数。2、准备时长：设置的虚拟用户数需要多长时间全部启动。如果线程数为20，准备时长为10，那么需要10秒钟启动20个线程。也就是每秒钟启动2个线程。3、循环次数：每个线程发送请求的次数。如果线程数为20，循环次数为100，那么每个线程发送100次请求。总请求数为

2017-03-05 16:46:59 463

原创 tomcat启动注意事项-并发测试发现

连接到服务器后，通常通过以下几种方式启动关闭tomcat服务；1.切换到tomcat下的bin目录；2.启动tomcat服务（1）直接启动./startup.bat（2）作为服务启动nohup ./startup.sh &（3）控制台动态输出方式启动./catalina.sh run动态地显示tomcat后台的控制台输出信息，Ctrl+C后退出并关闭服务。分析：通过方式

2017-03-02 22:14:51 983