hbase 线程处理

初始化HTable的时候会创建一个线程池(ThreadpoolExcutor)最大线程数为Int.maxValue ,ThreadPool中队列为异步队列SynchronousQueue  到此执行线程的架子搭好了、搭好架子之后就开始执行具体的任务啦。

执行的一个 callable  , 由于submit 提交callable的话是调用call方法,在call方法中初始化一个 ServerCallable  (继承自callable ),然后调用 withoutRetries  执行RPC操作,详细如下:

beforeCall :设置HbaseRpc的timeout  默认是 Int 最大值

connection:1、 获得regionLocation  2、获取server即 HRegionInterface  。 locateRegion就不讲了、就是通过zk获取region所在的RS。讲解RPC链接之前想将一下HbaseRpc



HbaseRpc  Rpc机制主要类, 主要有设置超时时间、获取RpcEngine, RpcEngine是一个接口、可以自定义实现RpcEngine,RpcEngine中主要方法包含:

getProxy:创建客户端代理

getServer: 获取一个RPCServer

call:远程调用

close :关闭实例

Hbase0.94 中 RpcEngine的实现是 WritableRpcEngine  ,在WritableRpcEngine   中会初始化HBaseClient ,HBaseClient是一个IPC(进程间通讯)服务客户端,初始化HbaseClient 主要是初始化一些IPC连接的参数,比如maxRetries 、 tcpNoDelay、tcpKeepAlive、socketfactory等信息。




HRegionInterface 作为客户端跟服务端交互的统一交互接口

如果想要对客户端的HRegionInterface 进行操作能让服务端执行就需要对 HRegionInterface 进行代理。也就是 HBaseRpc. waitForProxy() ----里面---> RpcEngine.getProxy()

在RpcEngine里面创建真正的代理如下: (T为实现protocol接口的实现类)

T proxy =
          (T) Proxy.newProxyInstance(
              protocol.getClassLoader(), new Class[] { protocol },
              new Invoker(client, protocol, addr, userProvider.getCurrent(), conf,
                  HBaseRPC.getRpcTimeout(rpcTimeout)));

上面代码主要意思就是将所有对 T的操作都需要交给 Invoker  的Invoker方法处理 ( Invoker 实现 InvocationHandler ),Invoker方法就会



  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
### 回答1: 要导出 HBase 表中的数据,您可以使用 HBase Shell 命令或 HBase API。 1. HBase Shell 命令: - 进入 HBase Shell:在命令行中输入 hbase shell 命令。 - 导出数据:使用 scan 命令,并将结果保存到文件中。例如: ``` hbase> scan 'table_name', {RAW => true} | awk -F'\t' '{print $3,$4}' > /tmp/table_name.txt ``` 2. HBase API: - 获取 HBase 连接:使用 HBaseConfiguration 类获取 HBase 连接。 - 扫描数据:使用 HBaseAdmin 类获取 HBase 表,并使用 Table 类执行扫描操作。 - 保存数据:将扫描结果保存到文件中。 下面是一个使用 Java API 导出 HBase 表数据的示例: ```java import java.io.IOException; import java.util.List; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.hbase.HBaseConfiguration; import org.apache.hadoop.hbase.TableName; import org.apache.hadoop.hbase.client.Connection; import org.apache.hadoop.hbase.client.ConnectionFactory; import org.apache.hadoop.hbase.client.Result; import org.apache.hadoop.hbase.client.ResultScanner; import org.apache.hadoop.hbase.client.Scan; import org.apache.hadoop.hbase.client.Table; public class HBaseExport { public static void main(String[] args) throws IOException { Configuration conf = HBaseConfiguration.create(); try (Connection connection = ConnectionFactory.createConnection(conf); Table table = connection.getTable(TableName.valueOf("table_name")); ResultScanner scanner = table.getScanner(new Scan())) { for (Result result : scanner) { // Do something with the result. } } } } ``` ### 回答2: 编写校导出HBase表数据的过程如下: 1. 配置HBase集群:确保HBase集群已正确配置和启动。 2. 编写Java程序:使用Java编写程序来导出HBase表数据。 3. 导入相关依赖:在Java代码中导入HBase相关的依赖项,例如HBase的核心 jar 包。 4. 创建HBase连接:使用Java代码创建到HBase集群的连接。连接需要指定HBase的主机名和端口号。 5. 获取HBase表对象:通过HBase连接对象获取到需要导出数据的表对象。 6. 设置过滤器:使用过滤器来筛选需要导出的数据。可以根据需求选择不同类型的过滤器,例如前缀过滤器、范围过滤器等。 7. 执行Scan操作:使用Scan对象进行数据扫描。Scan对象可以设置需要扫描的列族、列等信息。 8. 迭代处理结果:使用ResultScanner迭代扫描结果,并对每条数据进行处理。 9. 数据导出:根据需要将每条数据导出到文件、数据库或其他存储介质中。 10. 关闭连接:在程序执行结束后,关闭与HBase的连接。 以上步骤提供了一个基本的框架,可以根据具体需求进行调整和扩展。对于大规模数据导出,可能需要考虑分页查询、多线程处理等更高级的功能。同时,也需要注意处理可能出现的异常情况,例如连接失败、数据格式错误等。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值