大数据从入门到实战——HBase开发：表的扫描与扫描的缓存和批量处理

最新推荐文章于 2024-05-20 09:27:29 发布
VIP文章 最新推荐文章于 2024-05-20 09:27:29 发布
阅读量2.4k 收藏 7
点赞数 3
分类专栏： 大数据从入门到实战 文章标签： hbase big data
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45457170/article/details/121119808
版权

HBase开发：表的扫描与扫描的缓存和批量处理

批量处理


package step1;

import java.util.ArrayList;
import java.util.List;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.hbase.Cell;
import org.apache.hadoop.hbase.CellUtil;
import org.apache.hadoop.hbase.HBaseConfiguration;
import org.apache.hadoop.hbase.TableName;
import org.apache.hadoop.hbase.client.*;
import org.apache.hadoop.hbase.client.coprocessor.Batch;
import org.apache.hadoop.hbase.util.Bytes;

public class Task {
   

	public Object[] batchOp(String tablename) throws Exception {
   
	/********* Begin *********/
	Configuration conf = HBaseConfiguration.create();
    Connection conn = ConnectionFactory.
最低0.47元/天 解锁文章
Littlerainlv
关注
  • 3
    点赞
  • 踩
  • 7
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
HBase开发：表的扫描与扫描的缓存和批量处理
Junds0的博客
01-16 923
第1关：批量处理 本关任务：使用batch()方法整合不同方式的请求。 package step1; import java.util.ArrayList; import java.util.List; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.hbase.Cell; import org.apache.hadoop.hbase.CellUtil; import org.apache.hadoop.hbase.
大数据查询——HBase读写设计与实践
01-27
本文来自于InfoQ，这个项目主要解决check和opinion2张历史数据表（历史数据是指当业务发生过程中的完整中间流程和结果数据）的在线查询。本项目主要解决check和opinion2张历史数据表（历史数据是指当业务发生过程中的完整中间流程和结果数据）的在线查询。原实现基于Oracle提供存储查询服务，随着数据量的不断增加，在写入和读取过程中面临性能问题，且历史数据仅供业务查询参考，并不影响实际流程，从系统结构上来说，放在业务链条上游比较重。本项目将其置于下游数据处理Hadoop分布式平台来实现此需求。下面列一些具体的需求指标：1. 数据量：目前check表的
HBase-scan简介及优化(缓存与批量处理)
weixin_30809173的博客
08-28 538
扫描（scan） 这种技术类似于数据库系统中的游标(cursor),并利用到了HBase提供的底层顺序存储的数据结构。 扫描操作的使用跟get方法非常类似。由于扫描操作的工作方式类似于迭代器，所以用户无需调用scan方法创建实例，只需要调用HTable的getScanner方法，此方法在返回真正的扫描器(scanner)实例的同事，用户也可以使用它迭代获取数据。 ResultScanne...
HBase学习之路(三):Java客户端的批处理和扫描操作详讲
萧邦主的城邦
05-04 600
内容简介一、概述二、操作前的准备三、批处理操作四、扫描1.Scan操作2.缓存与批量处理五、总结 一、概述 在前面已经介绍了，使用JavaAPI对HBase的数据进行检索、添加和删除的操作，但是那些操作都是基于一行或者一个列表的操作，这一节将介绍如何使用JavaAPI批量处理跨多行的不同操作。介绍完批处理操作后会介绍扫描技术，这是HBase中一个非常重要的操作，类似于关系型数据库中的游标，使用到...
HBase Java API开发：表的扫描与扫描的缓存和批量处理
m0_52680439的博客
11-12 891
在右侧编辑器begin-end处编写代码补全tablename为待操作表的表名，要求实现如下操作：删除表中行键为row1row2的行；获取表中行键为row3row10的行；四个操作需要依照以上先后顺序，即先删除在获取row3，row10。不需要你直接输出，只需要将批量操作的返回即可。
hbase数据读取优化_HBase-scan简介及优化(缓存与批量处理) - 嘣嘣嚓 - 博客园
weixin_36339234的博客
12-29 727
扫描(scan)这种技术类似于数据库系统中的游标(cursor),并利用到了HBase提供的底层顺序存储的数据结构。扫描操作的使用跟get方法非常类似。由于扫描操作的工作方式类似于迭代器，所以用户无需调用scan方法创建实例，只需要调用HTable的getScanner方法，此方法在返回真正的扫描器(scanner)实例的同事，用户也可以使用它迭代获取数据。ResultScanner getSca...
HBase基础知识(8):扫描操作之缓存与批量处理
XingLiu's Blog
08-27 5100
每一个next()调用都会为每行数据生成一个单独RPC请求，即使使用next(int nbRows)方法，也是如此，因为该方法仅仅是在客户端循环地调用next()方法。很显然，当单元格数据较小时，这样做的性能不会很好。因此，如果一次RPC请求可以获取多行数据，这样更会有意义。这样的方法可以由扫描器缓存实现，默认情况下，这个缓存是关闭的。 可以在两个层面上打开它：在表的层面，这个表所有扫描实例的缓存
大数据从入门到实战 - HBase开发：表的扫描与扫描的缓存和批量处理
小啊呜的博客
01-13 4765
大数据从入门到实战 - HBase开发：表的扫描与扫描的缓存和批量处理 一、关于此次实践 1、实战简介 2、全部任务 二、实践详解 1、第1关：批量处理 2、第2关：扫描表中所有的数据 3、第3关：在扫描中使用缓存和批量参数 叮嘟！这里是小啊呜的学习课程资料整理。好记性不如烂笔头，今天也是努力进步的一天。一起加油进阶吧！
HBase Java API 开发：表的扫描与扫描的缓存和批量处理 第3关：在扫描中使用缓存和批量参数
qq_61604164的博客
12-14 1433
HBase Java API 开发：表的扫描与扫描的缓存和批量处理 第3关：在扫描中使用缓存和批量参数
HBase Java API 开发：表的扫描与扫描的缓存和批量处理 第1关：批量处理
qq_61604164的博客
12-14 2096
HBase Java API 开发：表的扫描与扫描的缓存和批量处理 第1关：批量处理
大数据干货|Hbase设计与开发实战
02-02
传统的关系型数据库处理方式是基于全面的ACID保证，遵循SQL92的标准表设计模式（范式）和数据类型，基于SQL语言的DML数据交互方式。长期以来这种基于关系型数据库的IT信息化建设中发展良好，但受制于关系型数据库...
大数据云计算技术系列 Hadoop之Hbase从入门到精通（共243页）.pdf
09-04
一、 HBase技术介绍 ...此外，Pig和Hive还为HBase提供了高层语言支持，使得在HBase上进行数据统计处理变的非常简单。 Sqoop则为HBase提供了方便的RDBMS数据导入功能，使得传统数据库数据向HBase中迁移变的非常方便。
HBase_HBase2.0+ Java API 操作指南 (三) 扫描器Scan
迎难而上
04-23 5696
Hbase 取数据通过 Get 方法去取数据还是效率太低了。这里我们学习下如何获取一批数据。 这里我们首先学习下Scan ，Scan 是基础，在Scan中可以设置过滤器 Filter。 扫描器 扫描技术。这种技术类似于数据库系统中的游标（cursor), 并利用到了HBase 提供的底层顺序存储的数据结构。 扫描操作的工作方式类似于迭代器，用户无需调用scan...
Hbase Batch 方式批量查询结果
superice_的博客
08-20 4924
Hbase多种方式查询结果 采用不同的方式查询Hbse里的内容 命令方式 scan方式 scan 't1', {COLUMNS=>'cf',VERSIONS=>20,TIMESTAMP=>1566300936} scan 't1' ,FILTER=>"ValueFilter(=,'binary:2014-01-30')" //过滤出等于此的值 get方式 get 't1'...
Hbase 批量写入操作
sbdayong的专栏
11-17 970
Code  Nmr List List Size Code Avarage Elapsed Time (sec) 1 List<Put>batchAllRows; 250.000 table.setAutoFlush(false); for (Put mRow : batchAllRows) {table.put(mRow);}ta...
大数据之hbase（三） --- 原生扫描，缓存扫描，批量扫描，扫描过滤器，计数器，coprocessor 协处理器
xcvbxv01的博客
09-16 424
一、扫描：原生扫描（专家） ----------------------------------------------------------- 1.一般的扫描，如果不指定版本，仅仅扫描一个版本的数据。指定了就扫指定版本的数据，但是版本不会超过创建表时指定的版本数 2.但是，如果想扫描更多的版本（大于创建表时指定的版本数），可以使用原生扫描，可以将所有的历史版本全部扫描出来 ...
HBase_HBase2.0 Java API 操作指南 （二）Batch 操作
迎难而上
04-22 849
本篇文章主要承接第一篇文章，继续讲解更加高效的batch操作 xxx xxx
HBase的随机读写
weixin_42771366的博客
09-20 1442
最近在学习大数据相关的知识，学到了HBase，对其中的随机实时读写不是很明白，从网上翻了翻文章，有两篇不错的，粘贴过来分享给大家。 第二篇文章在这： https://blog.csdn.net/weixin_42771366/article/details/120396428https://blog.csdn.net/weixin_42771366/article/details/120396428 第一篇原文地址： Apache HBase I/O - HFile - Cloudera...
Greenplum使用hbase外部表
最新发布
高云平的博客
05-20 303
GP可以通过pxf协议上的hbase外表功能， 在数据库中创建外部表，映射hbase table，以直接在gp中访问 hbase数据，方便将hbase的查询结果集保留在gp中。
hbase开发：表的扫描与扫描的缓存和批量处理
06-28
### 回答1： HBase是一个非关系型数据库，它支持对表的扫描操作。扫描可以按照行键范围或过滤器条件进行。HBase还支持缓存表的扫描结果，可以提高查询性能。此外，HBase还支持批量处理，可以同时对多行进行操作，提高处理效率。 ### 回答2： HBase是一种分布式、可扩展的列式存储系统，是基于Hadoop的海量数据存储解决方案之一，使用Java语言编写。HBase的表的扫描与扫描的缓存和批量处理是HBase的重点开发难点之一。本文将从这三个方面来探讨HBase开发。 1. HBase表的扫描 HBase的表无法像传统关系型数据库那样直接进行SQL查询，它的查询方式是通过扫描表中的行来进行。HBase表扫描可以采用Scan类来实现，在Scan类中可以指定要扫描的范围、列限定器等。扫描时会返回Scanner类，通过Scanner逐行扫描表中的数据并将扫描结果以一定的格式返回。在扫描时，可以指定不同的过滤器来帮助筛选需要的数据。如果需要查询表中所有数据，则可以省略Scan类中的startRow和stopRow参数。 2. 扫描的缓存 在HBase中，扫描的结果是比较大的，而且数据分散存储在多个节点上，因此需要采用缓存机制来进行优化。在HBase中，使用了一种叫做BlockCache的缓存机制。BlockCache是一个缓存组件，它缓存了HFile中的块（Block），并为读取请求提供服务。使用BlockCache可以有效地减少IO操作，提高HBase的查询性能。 3. 批量处理 在处理大规模数据时，HBase常常需要进行批量处理，以提高处理效率。HBase支持两种批量处理机制：一种是批量Get操作，另一种是批量Put和Delete操作。批量Get操作可以通过get(List<Get> gets)方法来实现，批量Put和Delete操作可以通过put(List<Put> puts)和delete(List<Delete> deletes)方法来实现。这些方法可以将多个操作同时提交到HBase中，以减少网络通信次数和IO操作，提高数据访问速度和性能。 综上所述，HBase表的扫描、扫描的缓存和批量处理是HBase开发中的重点难点之一。了解和掌握这些知识，可以帮助HBase开发人员更好地优化HBase的性能和提高数据处理效率。 ### 回答3： HBase是一个分布式的列式存储系统，它是建立在Hadoop上的，它的数据是按行存储的，同一行的数据存储在同一列族中，而且HBase还提供了表的扫描和扫描缓存、批量处理功能，可以更好地应对大规模数据的存储和查询。 首先，要讨论表的扫描功能。表的扫描是指在HBase中通过对一张表进行遍历，扫描所需要的所有行数据信息。通过HBase提供的Scan API，可以实现对指定表的扫描，可以设置扫描的起始行、结束行、扫描列、过滤器等。Scan的过程就是在Region Server上进行的，当然一个region server可以同时扫描多个region。Scan操作返回一个ResultScanner对象，该对象可以迭代返回扫描到的每一行数据，这个扫描结果可以用来进行数据处理、数据统计等。 其次，说一下扫描缓存。扫描缓存是指在HBase的Region Server上，扫描结果一般是一个KV数据对（Key-Value数据对，即键值对），这些扫描结果会被Region Server缓存在内存中，以便后续操作使用。而HBase中提供了一种扫描缓存设置，可以有效地控制Region Server上的缓存大小，避免内存占用过高，对性能有影响。HBase提供了两种类型的扫描缓存，分别是Client和Server端缓存。Client端缓存是通过设置Scan的 setCaching() 方法来控制，它是在客户端扫描时就在内存中缓存好的数据，在迭代扫描结果时，可以减少客户端向Region Server发送请求的次数，有效提高客户端的性能。而Server端缓存是通过设置Region Server的 Scanner 子模块中的 CacheBlocks 参数来控制，这个参数是表示对HFile进行扫描时，是否在HFile中缓存数据块，也就是在RegionServer上缓存了KV数据对。 最后，要说一下批量处理。批量处理是指在HBase中一次性处理多行数据的操作，可以在Region Server上执行。这个操作通过HBase提供的Batch API来实现，可以一次性操作多行数据。使用Batch API时，首先需要创建一个操作列表，将所有需要修改的行键和对应的操作（如Put、Delete等）添加到列表中，然后将列表传递给Batch API进行处理。Batch API会将所有的操作封装成一次批处理，一次性向Region Server发送，达到批量处理的效果。批量处理可以大大提高数据处理的效率，尤其是在需要对大数据量进行修改时，可以减少网络带宽和IO资源的使用，提高系统吞吐量。 总之，HBase的表的扫描和扫描缓存以及批量处理功能，是对大规模数据存储和查询的重要支撑。通过使用这些功能，可以减少网络带宽和IO资源的使用，大大提高系统的性能，为企业的数据管理提供了便利。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值