hbase建索引java api_hbase java api样例（版本1.3.1，新API）

最新推荐文章于 2021-07-09 19:43:29 发布
最新推荐文章于 2021-07-09 19:43:29 发布
阅读量113 收藏
点赞数
文章标签： hbase建索引java api
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_29044713/article/details/114805947
版权

hbase版本：1.3.1

目的：HBase新API的使用方法。

尝试并验证了如下几种java api的使用方法。

1.创建表

2.创建表(预分区)

3.单条插入

4.批量插入

5.批量插入(客户端缓存)

6.单条get

7.批量get

8.简单scan

9.混合使用

■实际代码

■pom.xml文件

hbase_sample

hbase_sample

1.0

4.0.0

org.apache.hbase

hbase-client

1.3.1

org.apache.hbase

hbase-server

1.3.1

org.apache.hbase

hbase-common

1.3.1

src/main/java

target/classes

maven-compiler-plugin

3.1

1.7

1.7

maven-assembly-plugin

2.4

jar-with-dependencies

make-assembly

package

single

===1.创建表===

packageapi;importorg.apache.hadoop.conf.Configuration;import org.apache.hadoop.hbase.*;importorg.apache.hadoop.hbase.client.Admin;importorg.apache.hadoop.hbase.client.Connection;importorg.apache.hadoop.hbase.client.ConnectionFactory;importorg.apache.hadoop.hbase.client.Durability;importorg.apache.hadoop.hbase.io.compress.Compression;importorg.apache.hadoop.hbase.io.encoding.DataBlockEncoding;importorg.apache.hadoop.hbase.regionserver.BloomType;public classcreate_table_sample1 {public static void main(String[] args) throwsException {

Configuration conf=HBaseConfiguration.create();

conf.set("hbase.zookeeper.quorum", "192.168.1.80,192.168.1.81,192.168.1.82");

Connection connection=ConnectionFactory.createConnection(conf);

Admin admin=connection.getAdmin();

HTableDescriptor desc= new HTableDescriptor(TableName.valueOf("TEST1"));//MemStore大小。默认128M，不能小于1M

desc.setMemStoreFlushSize(2097152L);//HFile最大size。默认10G。不能小于2M

desc.setMaxFileSize(10485760L);//日志flush的时候是同步写，还是异步写

desc.setDurability(Durability.SYNC_WAL);

HColumnDescriptor family1= newHColumnDescriptor(constants.COLUMN_FAMILY_DF.getBytes());

family1.setTimeToLive(2 * 60 * 60 * 24); //过期时间

family1.setMaxVersions(2); //版本数

family1.setBlockCacheEnabled(true);

desc.addFamily(family1);

HColumnDescriptor family2= newHColumnDescriptor(constants.COLUMN_FAMILY_EX.getBytes());//数据生存时间

family2.setTimeToLive(3 * 60 * 60 * 24);//最小版本数，默认0。

family2.setMinVersions(2);//最大版本数，默认-1

family2.setMaxVersions(3);//bloom过滤器，有ROW和ROWCOL，ROWCOL除了过滤ROW还要过滤列族。默认ROW。

family2.setBloomFilterType(BloomType.ROW);//数据块的大小，单位bytes，默认值是65536。

family2.setBlocksize(65536);//数据块缓存，保存着每个HFile数据块的startKey。默认true。

family2.setBlockCacheEnabled(true);// //写的时候缓存bloom。默认false。//family2.setCacheBloomsOnWrite(false);// //写的时候缓存索引。默认false。//family2.setCacheIndexesOnWrite(false);// //存储的时候使用压缩算法。默认NONE。//family2.setCompressionType(Compression.Algorithm.NONE);// //进行compaction的时候使用压缩算法。默认NONE。//family2.setCompactionCompressionType(Compression.Algorithm.NONE);// //压缩内存和存储的数据，区别于Snappy。默认NONE。//family2.setDataBlockEncoding(DataBlockEncoding.NONE);// //关闭的时候，是否剔除缓存的块。默认false。//family2.setEvictBlocksOnClose(false);// //让数据块缓存在LRU缓存里面有更高的优先级。默认false。//family2.setInMemory(false);// //集群间复制的时候，如果被设置成REPLICATION_SCOPE_LOCAL就不能被复制了。默认0//family2.setScope(HConstants.REPLICATION_SCOPE_GLOBAL);

desc.addFamily(family2);

admin.createTable(desc);

admin.close();

connection.close();

}

}

===2.创建表(预分区)===

importorg.apache.hadoop.conf.Configuration;importorg.apache.hadoop.hbase.HBaseConfiguration;importorg.apache.hadoop.hbase.HColumnDescriptor;importorg.apache.hadoop.hbase.HTableDescriptor;importorg.apache.hadoop.hbase.TableName;importorg.apache.hadoop.hbase.client.Admin;importorg.apache.hadoop.hbase.client.Connection;importorg.apache.hadoop.hbase.client.ConnectionFactory;importorg.apache.hadoop.hbase.regionserver.BloomType;importorg.apache.hadoop.hbase.util.Bytes;public classcreate_table_sample2 {public static void main(String[] args) throwsException {

Configuration conf=HBaseConfiguration.create();

conf.set("hbase.zookeeper.quorum", "192.168.1.80,192.168.1.81,192.168.1.82");

Connection connection=ConnectionFactory.createConnection(conf);

Admin admin=connection.getAdmin();

TableName table_name= TableName.valueOf("TEST1");if(admin.tableExists(table_name)) {

admin.disableTable(table_name);

admin.deleteTable(table_name);

}

HTableDescriptor desc= newHTableDescriptor(table_name);

HColumnDescriptor family1= newHColumnDescriptor(constants.COLUMN_FAMILY_DF.getBytes());

family1.setTimeToLive(3 * 60 * 60 * 24); //过期时间

family1.setBloomFilterType(BloomType.ROW); //按行过滤

family1.setMaxVersions(3); //版本数

desc.addFamily(family1);

HColumnDescriptor family2= newHColumnDescriptor(constants.COLUMN_FAMILY_EX.getBytes());

family2.setTimeToLive(2 * 60 * 60 * 24); //过期时间

family2.setBloomFilterType(BloomType.ROW); //按行过滤

family2.setMaxVersions(2); //版本数

desc.addFamily(family2);byte[][] splitKeys ={

Bytes.toBytes("row01"),

Bytes.toBytes("row02"),

Bytes.toBytes("row04"),

Bytes.toBytes("row06"),

Bytes.toBytes("row08"),

};

admin.createTable(desc, splitKeys);

admin.close();

connection.close();

}

}

===3.单条插入===

importorg.apache.hadoop.conf.Configuration;importorg.apache.hadoop.hbase.HBaseConfiguration;importorg.apache.hadoop.hbase.TableName;import org.apache.hadoop.hbase.client.*;importorg.apache.hadoop.hbase.util.Bytes;importjava.util.Random;public classtable_put_sample1 {public static void main(String[] args) throwsException {

Configuration conf=HBaseConfiguration.create();

conf.set("hbase.zookeeper.quorum", "192.168.1.80,192.168.1.81,192.168.1.82");

Connection connection=ConnectionFactory.createConnection(conf);

Table table=connection.getTable(TableName.valueOf(constants.TABLE_NAME));

Random random= newRandom();

String[] rows= new String[] {"01", "02", "03"};

String[] names= new String[] {"zhang san", "li si", "wang wu", "wei liu"};

String[] sexs= new String[] {"men", "women"};

String[] heights= new String[] {"165cm", "170cm", "175cm", "180cm"};

String[] weights= new String[] {"50kg", "55kg", "60kg", "65kg", "70kg", "75kg", "80kg"};

Put put= new Put(Bytes.toBytes("row" +rows[random.nextInt(rows.length)]));

String name=names[random.nextInt(names.length)];

put.addColumn(constants.COLUMN_FAMILY_DF.getBytes(),"name".getBytes(), name.getBytes());

String sex=sexs[random.nextInt(sexs.length)];

put.addColumn(constants.COLUMN_FAMILY_DF.getBytes(),"sex".getBytes(), sex.getBytes());

String height=heights[random.nextInt(heights.length)];

put.addColumn(constants.COLUMN_FAMILY_EX.getBytes(),"height".getBytes(), height.getBytes());

String weight=weights[random.nextInt(weights.length)];

put.addColumn(constants.COLUMN_FAMILY_EX.getBytes(),"weight".getBytes(), weight.getBytes());

table.put(put);

table.close();

connection.close();

}

}

===4.批量插入===

importorg.apache.hadoop.conf.Configuration;importorg.apache.hadoop.hbase.HBaseConfiguration;importorg.apache.hadoop.hbase.TableName;import org.apache.hadoop.hbase.client.*;importorg.apache.hadoop.hbase.util.Bytes;importjava.util.ArrayList;importjava.util.List;importjava.util.Random;public classtable_put_sample2 {public static void main(String[] args) throwsException {

Configuration conf=HBaseConfiguration.create();

conf.set("hbase.zookeeper.quorum", "192.168.1.80,192.168.1.81,192.168.1.82");

Connection connection=ConnectionFactory.createConnection(conf);

Table table=connection.getTable(TableName.valueOf(constants.TABLE_NAME));

Random random= newRandom();

String[] rows= new String[] {"01", "02", "03"};

String[] names= new String[] {"zhang san", "li si", "wang wu", "wei liu"};

String[] sexs= new String[] {"men", "women"};

String[] heights= new String[] {"165cm", "170cm", "175cm", "180cm"};

String[] weights= new String[] {"50kg", "55kg", "60kg", "65kg", "70kg", "75kg", "80kg"};

List puts = new ArrayList<>();for(String row : rows) {

Put put= new Put(Bytes.toBytes("row" +row));

String name=names[random.nextInt(names.length)];

put.addColumn(constants.COLUMN_FAMILY_DF.getBytes(),"name".getBytes(), name.getBytes());

String sex=sexs[random.nextInt(sexs.length)];

put.addColumn(constants.COLUMN_FAMILY_DF.getBytes(),"sex".getBytes(), sex.getBytes());

String height=heights[random.nextInt(heights.length)];

put.addColumn(constants.COLUMN_FAMILY_EX.getBytes(),"height".getBytes(), height.getBytes());

String weight=weights[random.nextInt(weights.length)];

put.addColumn(constants.COLUMN_FAMILY_EX.getBytes(),"weight".getBytes(), weight.getBytes());

puts.add(put);

}

table.put(puts);

table.close();

connection.close();

}

}

===5.批量插入(客户端缓存)===

importorg.apache.hadoop.conf.Configuration;importorg.apache.hadoop.hbase.HBaseConfiguration;importorg.apache.hadoop.hbase.TableName;import org.apache.hadoop.hbase.client.*;importorg.apache.hadoop.hbase.util.Bytes;importjava.util.ArrayList;importjava.util.List;importjava.util.Random;public classtable_put_sample4 {public static void main(String[] args) throwsException {

Configuration conf=HBaseConfiguration.create();

conf.set("hbase.zookeeper.quorum", "192.168.1.80,192.168.1.81,192.168.1.82");

conf.set("hbase.client.write.buffer", "1048576");//1M

Connection connection =ConnectionFactory.createConnection(conf);

BufferedMutator table=connection.getBufferedMutator(TableName.valueOf(constants.TABLE_NAME));

System.out.print("[--------]write buffer size = " +table.getWriteBufferSize());

Random random= newRandom();

String[] rows= new String[] {"01", "02", "03", "04", "05"};

String[] names= new String[] {"zhang san", "li si", "wang wu", "wei liu"};

String[] sexs= new String[] {"men", "women"};

String[] heights= new String[] {"165cm", "170cm", "175cm", "180cm"};

String[] weights= new String[] {"50kg", "55kg", "60kg", "65kg", "70kg", "75kg", "80kg"};

List batch = new ArrayList<>();for(String row : rows) {

Put put= new Put(Bytes.toBytes("row" +row));

String name=names[random.nextInt(names.length)];

put.addColumn(constants.COLUMN_FAMILY_DF.getBytes(),"name".getBytes(), name.getBytes());

String sex=sexs[random.nextInt(sexs.length)];

put.addColumn(constants.COLUMN_FAMILY_DF.getBytes(),"sex".getBytes(), sex.getBytes());

String height=heights[random.nextInt(heights.length)];

put.addColumn(constants.COLUMN_FAMILY_EX.getBytes(),"height".getBytes(), height.getBytes());

String weight=weights[random.nextInt(weights.length)];

put.addColumn(constants.COLUMN_FAMILY_EX.getBytes(),"weight".getBytes(), weight.getBytes());

batch.add(put);

}

table.mutate(batch);

table.flush();

table.close();

connection.close();

}

}

===6.单条get===

importorg.apache.hadoop.conf.Configuration;importorg.apache.hadoop.hbase.HBaseConfiguration;importorg.apache.hadoop.hbase.TableName;import org.apache.hadoop.hbase.client.*;public classtable_get_sample3 {public static void main(String[] args) throwsException {

Configuration conf=HBaseConfiguration.create();

conf.set("hbase.zookeeper.quorum", "192.168.1.80,192.168.1.80,192.168.1.82");

Connection connection=ConnectionFactory.createConnection(conf);

Table table=connection.getTable(TableName.valueOf(constants.TABLE_NAME));

Get get= new Get(("row01").getBytes());

get.addColumn(constants.COLUMN_FAMILY_DF.getBytes(),"name".getBytes());

get.addColumn(constants.COLUMN_FAMILY_DF.getBytes(),"sex".getBytes());

get.addColumn(constants.COLUMN_FAMILY_EX.getBytes(),"height".getBytes());

get.addColumn(constants.COLUMN_FAMILY_EX.getBytes(),"weight".getBytes());

Result result=table.get(get);byte[] name = result.getValue(constants.COLUMN_FAMILY_DF.getBytes(), "name".getBytes());byte[] sex = result.getValue(constants.COLUMN_FAMILY_DF.getBytes(), "sex".getBytes());byte[] height = result.getValue(constants.COLUMN_FAMILY_EX.getBytes(), "height".getBytes());byte[] weight = result.getValue(constants.COLUMN_FAMILY_EX.getBytes(), "weight".getBytes());

System.out.print("[------]name=" + new String(name) + "\n");

System.out.print("[------]sex=" + new String(sex) + "\n");

System.out.print("[------]height=" + new String(height) + "\n");

System.out.print("[------]weight=" + new String(weight) + "\n");

table.close();

connection.close();

}

}

===7.批量get===

importorg.apache.hadoop.conf.Configuration;importorg.apache.hadoop.hbase.HBaseConfiguration;importorg.apache.hadoop.hbase.TableName;import org.apache.hadoop.hbase.client.*;importjava.util.ArrayList;importjava.util.List;public classtable_get_sample4 {public static void main(String[] args) throwsException {

Configuration conf=HBaseConfiguration.create();

conf.set("hbase.zookeeper.quorum", "192.168.1.80,192.168.1.81,192.168.1.82");

Connection connection=ConnectionFactory.createConnection(conf);

Table table=connection.getTable(TableName.valueOf(constants.TABLE_NAME));

List gets = new ArrayList<>();

Get get1= new Get(("row01").getBytes());

get1.addFamily(constants.COLUMN_FAMILY_DF.getBytes());

get1.addFamily(constants.COLUMN_FAMILY_EX.getBytes());

gets.add(get1);

Get get2= new Get(("row02").getBytes());

get2.addColumn(constants.COLUMN_FAMILY_DF.getBytes(),"name".getBytes());

get2.addColumn(constants.COLUMN_FAMILY_DF.getBytes(),"sex".getBytes());

get2.addColumn(constants.COLUMN_FAMILY_EX.getBytes(),"height".getBytes());

get2.addColumn(constants.COLUMN_FAMILY_EX.getBytes(),"weight".getBytes());

gets.add(get2);

Result[] results=table.get(gets);for( Result result : results) {byte[] name = result.getValue(constants.COLUMN_FAMILY_DF.getBytes(), "name".getBytes());byte[] sex = result.getValue(constants.COLUMN_FAMILY_DF.getBytes(), "sex".getBytes());byte[] height = result.getValue(constants.COLUMN_FAMILY_EX.getBytes(), "height".getBytes());byte[] weight = result.getValue(constants.COLUMN_FAMILY_EX.getBytes(), "weight".getBytes());

System.out.print("[------]name=" + new String(name) + "\n");

System.out.print("[------]sex=" + new String(sex) + "\n");

System.out.print("[------]height=" + new String(height) + "\n");

System.out.print("[------]weight=" + new String(weight) + "\n");

}

table.close();

connection.close();

}

}

===8.简单scan===

importorg.apache.hadoop.conf.Configuration;importorg.apache.hadoop.hbase.HBaseConfiguration;importorg.apache.hadoop.hbase.TableName;import org.apache.hadoop.hbase.client.*;public classtable_scan_sample3 {public static void main(String[] args) throwsException {

Configuration conf=HBaseConfiguration.create();

conf.set("hbase.zookeeper.quorum", "192.168.1.80,192.168.1.81,192.168.1.82");

Connection connection=ConnectionFactory.createConnection(conf);

Table table=connection.getTable(TableName.valueOf(constants.TABLE_NAME));

Scan scan= newScan();

scan.addColumn(constants.COLUMN_FAMILY_DF.getBytes(),"name".getBytes());

scan.addFamily(constants.COLUMN_FAMILY_EX.getBytes());

ResultScanner rs=table.getScanner(scan);for (Result r = rs.next(); r != null; r =rs.next()) {byte[] row_key =r.getRow();

System.out.print("[------]row_key=" + new String(row_key) + "\n");byte[] name = r.getValue(constants.COLUMN_FAMILY_DF.getBytes(), "name".getBytes());

System.out.print("[------]name=" + new String(name) + "\n");byte[] weight = r.getValue(constants.COLUMN_FAMILY_EX.getBytes(), "weight".getBytes());

System.out.print("[------]weight=" + new String(weight) + "\n");

}

table.close();

connection.close();

}

}

===9.混合使用===

importorg.apache.hadoop.conf.Configuration;importorg.apache.hadoop.hbase.HBaseConfiguration;importorg.apache.hadoop.hbase.TableName;import org.apache.hadoop.hbase.client.*;importjava.util.ArrayList;importjava.util.List;public classtable_batch_sample2 {public static void main(String[] args) throwsException {

Configuration conf=HBaseConfiguration.create();

conf.set("hbase.zookeeper.quorum", "192.168.1.80,192.168.1.81,192.168.1.82");

conf.set("hbase.client.write.buffer", "1048576");//1M

Connection connection =ConnectionFactory.createConnection(conf);

BufferedMutator mutator=connection.getBufferedMutator(TableName.valueOf(constants.TABLE_NAME));

List batch = new ArrayList<>();byte[] row_key =random.getRowKey();

Put put= newPut(row_key);

put.addColumn(constants.COLUMN_FAMILY_DF.getBytes(),"name".getBytes(), random.getName());

put.addColumn(constants.COLUMN_FAMILY_DF.getBytes(),"sex".getBytes(), random.getSex());

put.addColumn(constants.COLUMN_FAMILY_EX.getBytes(),"height".getBytes(), random.getHeight());

put.addColumn(constants.COLUMN_FAMILY_EX.getBytes(),"weight".getBytes(), random.getWeight());

batch.add(put);

Delete delete= newDelete(row_key);

delete.addFamily(constants.COLUMN_FAMILY_DF.getBytes());

delete.addColumn(constants.COLUMN_FAMILY_EX.getBytes(),"weight".getBytes());

batch.add(delete);

mutator.mutate(batch);

Table table=connection.getTable(TableName.valueOf(constants.TABLE_NAME));

Get get= newGet(row_key);

Result result1=table.get(get);

System.out.print("[------]name=" + getValue(result1, constants.COLUMN_FAMILY_DF, "name") + "\n");

System.out.print("[------]sex=" + getValue(result1, constants.COLUMN_FAMILY_DF, "sex") + "\n");

System.out.print("[------]height=" + getValue(result1, constants.COLUMN_FAMILY_EX, "height") + "\n");

System.out.print("[------]weight=" + getValue(result1, constants.COLUMN_FAMILY_EX, "weight") + "\n");

mutator.flush();

Result result2=table.get(get);

System.out.print("[------]name=" + getValue(result2, constants.COLUMN_FAMILY_DF, "name") + "\n");

System.out.print("[------]sex=" + getValue(result2, constants.COLUMN_FAMILY_DF, "sex") + "\n");

System.out.print("[------]height=" + getValue(result2, constants.COLUMN_FAMILY_EX, "height") + "\n");

System.out.print("[------]weight=" + getValue(result2, constants.COLUMN_FAMILY_EX, "weight") + "\n");

table.close();

mutator.close();

connection.close();

}private staticString getValue(Result rs, String family, String column) {byte[] value =rs.getValue(family.getBytes(), column.getBytes());if (value == null) {return "";

}else{return newString(value);

}

}

}

===补充===

1)HTableDescriptor特性

可以通过 HTableDescriptor对象设置Table的相关特性 ，比如

//日志flush的时候是同步写，还是异步写

tb.setDurability(Durability.SYNC_WAL);//region size大小,当一个region中的最大store文件达到这个size时，region就开始分裂

tb.setMaxFileSize(1024*1024*1024);//MemStore大小,当memstore达到这个值时，开始往磁盘中刷数据

tb.setMemStoreFlushSize(256*1024*1024);

如果设置了MemStore时，HBase的数据会是先写入内存，数据累计达到内存阀值时才往磁盘中flush数据，

所以，如果在数据还没有flush进硬盘时，RegionServer down掉了，内存中的数据将丢失。

想解决这个场景的问题可以通过设置WAL日志级别来解决。即：tb.setDurability(Durability.SYNC_WAL);

setDurability(Durability d)方法可以在相关的三个对象中使用，分别是：HTableDescriptor，Delete，Put。

其中Delete和Put的该方法都是继承自父类org.apache.hadoop.hbase.client.Mutation。

分别针对表、插入操作、删除操作设定WAL日志写入级别。

需要注意的是，Delete和Put并不会继承Table的Durability级别(已实测验证)。

Durability是一个枚举变量，如果不通过该方法指定WAL日志级别，则为默认USE_DEFAULT级别。

USE_DEFAULT //全局默认的WAL写入级别，即 SYNC_WAL

ASYNC_WAL//当数据变动时，异步写WAL日志

SYNC_WAL//当数据变动时，同步写WAL日志

FSYNC_WAL//当数据变动时，同步写WAL日志，并且，强制将数据写入磁盘

SKIP_WAL//不写WAL日志

2)HColumnDescriptor特性

可以通过 HColumnDescriptor对象设置ColumnFamily的特性 ，比如：

//压缩内存中和存储文件中的数据,默认NONE(不压缩)

tb.setDataBlockEncoding(DataBlockEncoding.PREFIX);//bloom过滤器:NONE,ROW(默认值)和ROWCOL.ROWCOL除了过滤ROW还要过滤列族

tb.setBloomFilterType(BloomType.ROW);//集群间复制的时候,如果被设置成REPLICATION_SCOPE_LOCAL(默认值)就不能被复制了

tb.setScope(HConstants.REPLICATION_SCOPE_GLOBAL);//数据保存的最大版本数.默认是Long.MAX

tb.setMaxVersions(3);//数据保存的最小版本数.默认是0.配合TTL使用

tb.setMinVersions(1);//数据保存的最长时间,即TTL,单位是ms

tb.setTimeToLive(18000);//设定数据存储的压缩类型.默认无压缩(NONE)

tb.setCompressionType(Algorithm.SNAPPY);//是否保存那些已经删除掉的cell

tb.setKeepDeletedCells(false);//设置数据保存在内存中以提高响应速度

tb.setInMemory(true);//块缓存，保存着每个HFile数据块的startKey

tb.setBlockCacheEnabled(true);//块的大小，默认值是65536

tb.setBlocksize(64*1024);

--END--

里小咸
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
hbase建索引java api_HBase的JavaAPI操作
weixin_39526741的博客
02-27 88
1 mport java.util.Arrays;23 importorg.apache.hadoop.conf.Configuration;4 importorg.apache.hadoop.hbase.HBaseConfiguration;5 importorg.apache.hadoop.hbase.HColumnDescriptor;6 importorg.apache.hadoop.hb...
hbase java api样例（版本1.3.1，新API）
weixin_30855099的博客
09-15 172
hbase版本：1.3.1 目的：HBase新API的使用方法。 尝试并验证了如下几种java api的使用方法。 1.创建表 2.创建表（预分区） 3.单条插入 4.批量插入 5.批量插入（客户端缓存） 6.单条get 7.批量get 8.简单scan 9.混合使用 ■实际代码 https://github.com/quchunhui/hbase_sampl...
api 原生hbase_HBase+ElasticSearch二级索引实践总结
weixin_39636333的博客
12-18 98
前言：还记得那是2018年的一个夏天，天气特别热，我一边擦汗一边听领导大刀阔斧的讲述自己未来的改革蓝图。会议开完了，核心思想就是：我们要搞一个数据大池子，要把公司能灌的数据都灌入这个大池子，然后让别人用各种姿势来捞这些数据。系统从开始打造到上线差不多花了半年多不到一年的时间，线上稳定运行也有一年多的时间。今天想简单做个总结。一、背景介绍公司成立差不多十五六年了，老公司了。也正是因为资格老...
hbase建索引java api_hbase建索引的两种方式
weixin_29153859的博客
02-27 125
Oracle分区表先说句题外话- 欢迎成都天府软件园的小伙伴来面基交流经验~ 一:什么是分区(Partition)? 分区是将一个表或索引物理地分解为多个更小.更可管理的部分. 分区对应用透明,即对访问数据库的应用 ...兼容iOS 10 资料整理笔记原文链接:http://www.jianshu.com/p/0cc7aad638d9 1.Notification(通知) 自从Notifica...
hbase建索引java api_hbase上应用lucene创建索引及检索
weixin_39719476的博客
02-27 126
hbasene(https://github.com/akkumar/hbasene)是开源项目，在hbase存储上封装使用Lucene来创建索引，代码API非常简单，熟悉lucene的朋友可以很方便地创建。以下为测试代码，完成读取一张hbase上记录url和用户id的表，对其创建索引并进行简单的基于url的索引的代码。当取到search的结果后，就可以拿到想要的数据了。由于分词后将原始内容进行了...
HBase JavaAPI开发
06-21
使用JavaAPI实现HBase的ddl（创建表、删除表、修改表（添加列族等））、dml（添加数据、删除数据）、dql（查询数据（get、scan））等操作 除此之外还包含一些其他操作：命名空间的应用、快照的应用等 对应（《HBase...
hbase的java客户端api操作示例代码.zip
最新发布
11-03
在Java环境中，HBase提供了丰富的客户端API，使得开发者能够方便地进行数据的增删查改操作。本示例代码主要涵盖了以下几个核心知识点： 1. **HBase连接与配置** 在Java中操作HBase，首先需要创建一个`...
javaApi_sparkhiveAPI_hbaseAPI.zip
10-31
本压缩包"javaApi_sparkhiveAPI_hbaseAPI.zip"包含了2019年8月至10月期间针对这些技术的Java版API实现，以及与Spark相关的Hive和HBase API。以下是关于这些技术的详细知识： 1. **Java API for Hive**： - **Hive*...
HBase与MapReduce处理操作（基于JavaAPI）
05-30
该案例中主要使用MapReduce作为处理组件进行数据处理，实现的案例有如通过javaapi实现hbase数据写入hdfs、hbase表数据复制到另一个表中等操作 对应（《HBase分布式存储系统应用》胡鑫喆 张志刚著）教材中案例
利用java api读取hbase数据遇到的一些坑及解决方法
01-20
java.lang.RuntimeException: org.apache.hadoop.hbase.client.RetriesExhaustedException: Failed after attempts=36, exceptions: Fri Feb 14 10:30:36 CST 2020, null, java.net.SocketTimeoutException: ...
HBase-RowKey与索引设计(高清)
12-26
HBase-RowKey与索引设计(高清) HBase-RowKey与索引设计(高清)HBase-RowKey与索引设计(高清)
hbase索引创建系列（一）
java技术专题
12-09 316
本文参考了文“mysql索引背后的数据结构及算法原理”，之所以还要摘录，主要是为了形成hbase索引研究的开篇，弄明白什么索引的本质，如有版权问题，请及时通知。 索引的本质 索引是帮助mysql高效获取数据的数据结构。索引属于数据结构的一种。 在数据之外，数据库系统还维护着满足特定查找算法的数据结构，这些数据结构以某种方式引用（指向）数据，这样就可以在这些数据结构上实现高级查找算法。这个数据...
java操作hbase1.3.1的增删改查
weixin_33868027的博客
08-09 146
我的eclipse程序在windows7机器上，hbase在linux机器上 1，首先在C:\Windows\System32\drivers\etc下面的HOSTS文件，加上linux 集群 2.直接附上代码： package com.yilian.util; import java.io.File; import java.io.IOException; impor...
HBase API+优化+Phenix+索引 笔记
VanasWang的博客
06-28 413
文章目录APIDDLDMLHBase优化预分区1.手动设定预分区2.指明分区个数3.按照文件中设置的规则预分区4.使用javaApi创建预分区rowKey的设计小案例：内存优化基础优化HBase底层原理HBase与Hive集成使用Phoenix安装配置配置环境变量启动Shell操作删除表映射：视图映射创建视图删除视图表映射Phoenix数字问题idea可视化Phoenix JDBC操作Thin 瘦客户端Thick胖客户端索引参数配置全局二级索引本地二级索引 API 创建表 、删除表、表是否存在、 添加依赖
Hbase的java API
a13813972564的博客
07-09 172
hbase的javaAPI的操作 创建一个maven的项目, 导入相关的依赖 <repositories><!--代码库--> <repository> <id>aliyun</id> <url>http://maven.aliyun.com/nexus/content/groups/public/</url> <rel
02索引设计规范
热门推荐
简单记录生活、学习
09-25 1万+
限制每张表上的索引数量，建议单张表索引不超过5个 索引并不是越多越好!索引可以提高效率同样可以降低效率 禁止给表中的每一列都建立单独的索引 Innodb是按照哪个索引的顺序来组织表的呢? 答案是:主键 每个Innodb表必须有一个主键 不使用更新频繁的列作为主键,不使用多列主键 不使用UUID , MD5 , HASH,字符串列作为主键 主键建议选择使用自增ID值 常见索引列建议 SELECT、UPDATE、 DELETE语句的WHERE从句中的列 包含在ORDER BY、GROUP BY...
HBase 的 Java Api
菜鸡也有大佬梦
04-11 117
整合 依赖 <dependency> <groupId>org.apache.hbase</groupId> <artifactId>hbase-client</artifactId> <version>2.2.5</version> </dependency> <dependency>
HBase 详细API操作
@小刘同学nice
06-30 1万+
环境准备 新建项目后在pom.xml中添加依赖： <dependency> <groupId>org.apache.hbase</groupId> <artifactId>hbase-server</artifactId> <version>1.3.1</version> </depe...
HBase JAVA API 操作
qq_43613793的博客
05-12 487
文章目录Maven `pom.xml` 添加依赖创建表添加数据查询数据删除数据删除表 Maven pom.xml 添加依赖 <dependency> <groupId>org.apache.hbase</groupId> <artifactId>hbase-client</artifactId> <version>1.2.6.1</version> </dependency> 创建表 i
hbase java api 查询_java api 查询hbase
05-27
好的，您想了解如何使用 Java API 查询 HBase 数据库。首先，您需要在 Java 代码中导入 HBase 的相关类，这些类通常在 HBase 的 Java API 中提供。然后，您可以使用以下步骤来查询 HBase 数据： 1. 创建 ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值