Hbase如何根据列值来查询整条数据

最新推荐文章于 2024-06-28 15:58:59 发布
最新推荐文章于 2024-06-28 15:58:59 发布
阅读量1.7w 收藏 8
点赞数 1
分类专栏： hbase 文章标签： hbase 二级索引 由列值查整条
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_37739193/article/details/78610425
版权

        我们知道Hbase不能像关系型数据库那样根据字段的值来查询其他的值，那么可以为hbase建立二级索引来达到这样的效果

        Hbase可以用协处理器来建二级索引的，但我这里为了测试方便，直接用Java API往hbase表中插入数据的时候同时也往二级索引表中插入数据


我设计的原表数据结构是：
rowkey：待定
列族1：jiben    列：dbopt，probeid，type，size
列族2：disk     列：rate，total，temperature
列族3：cpu1     列：rate，num，temperature
列族4：cpu2     列：rate，num，temperature
列族5：memory   列：totoal，rate


二级索引表数据结构是：
rowkey：原表的value-原表的列族-原表的列-UUID
如：20095555-disk-total-fe7f4fe8d3ef4e60b1056e9c46a25e88
列族名和列名随意起


首先根据我上面的信息创建两张表，一张原始数据表emp，一张二级索引表hui

往原始索引表中插入数据的同时将列值作为二级索引表的rowkey也往二级索引表中插入数据：

import java.io.IOException;  
import java.util.Random;
import java.util.UUID;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.hbase.HBaseConfiguration;
import org.apache.hadoop.hbase.MasterNotRunningException;
import org.apache.hadoop.hbase.ZooKeeperConnectionException;
import org.apache.hadoop.hbase.client.HTable;
import org.apache.hadoop.hbase.client.Put;
import org.apache.hadoop.hbase.util.Bytes;

public class PutData {
    public static void main(String[] args) throws MasterNotRunningException,  
        ZooKeeperConnectionException, IOException {
    	String tableName = "emp";
    	String columnFamily1 = "jiben";
    	String columnFamily2 = "disk";
    	String columnFamily3 = "cpu1";
    	String columnFamily4 = "cpu2";
    	String columnFamily5 = "memory";
    	Random random = new Random();
    	
    	String tableName2 = "hui";
    	
    	UUID uuid = UUID.randomUUID();
                        
    	for(int i=10028;i<=500000;i++){
    		int a = random.nextInt(100);
    		int b = random.nextInt(100);
    		int c = random.nextInt(1000);
    		String str = uuid.toString();
    		String temp = str.substring(0, 8) + str.substring(9, 13) + str.substring(14, 18)   
    				+ str.substring(19, 23) + str.substring(24);
    		
    		put(tableName, String.valueOf(i), columnFamily1, "dbopt", "insert");
    		put(tableName2, "insert"+"-"+columnFamily1+"-"+"dbopt"+"-"+temp, "cf", "rowkey", String.valueOf(i));
    		put(tableName, String.valueOf(i), columnFamily1, "probeid", String.valueOf(i));
    		put(tableName2, String.valueOf(i)+"-"+columnFamily1+"-"+"probeid"+"-"+temp, "cf", "rowkey", String.valueOf(i));
    		put(tableName, String.valueOf(i), columnFamily1, "type", "type");
    		put(tableName2, String.valueOf(i)+"-"+columnFamily1+"-"+"type"+"-"+temp, "cf", "rowkey", String.valueOf(i));
    		put(tableName, String.valueOf(i), columnFamily1, "size", String.valueOf(c));
    		put(tableName2, String.valueOf(c)+"-"+columnFamily1+"-"+"size"+"-"+temp, "cf", "rowkey", String.valueOf(i));

    		put(tableName, String.valueOf(i), columnFamily2, "rate", String.valueOf(b));
    		put(tableName2, String.valueOf(b)+"-"+columnFamily2+"-"+"rate"+"-"+temp, "cf", "rowkey", String.valueOf(i));
    		put(tableName, String.valueOf(i), columnFamily2, "total", "2009"+String.valueOf(i));
    		put(tableName2, "2009"+String.valueOf(i)+"-"+columnFamily2+"-"+"total"+"-"+temp, "cf", "rowkey", String.valueOf(i));
    		put(tableName, String.valueOf(i), columnFamily2, "temperature", String.valueOf(a));
    		put(tableName2, String.valueOf(a)+"-"+columnFamily2+"-"+"temperature"+"-"+temp, "cf", "rowkey", String.valueOf(i));

    		put(tableName, String.valueOf(i), columnFamily3, "rate", "0.0");
    		put(tableName2, "0.0"+"-"+columnFamily3+"-"+"rate"+"-"+temp, "cf", "rowkey", String.valueOf(i));
    		put(tableName, String.valueOf(i), columnFamily3, "num", String.valueOf(b));
    		put(tableName2, String.valueOf(b)+"-"+columnFamily3+"-"+"num"+"-"+temp, "cf", "rowkey", String.valueOf(i));
    		put(tableName, String.valueOf(i), columnFamily3, "temperature", String.valueOf(a));
    		put(tableName2, String.valueOf(a)+"-"+columnFamily3+"-"+"temperature"+"-"+temp, "cf", "rowkey", String.valueOf(i));

    		put(tableName, String.valueOf(i), columnFamily4, "rate", "1.0");
    		put(tableName2, "1.0"+"-"+columnFamily4+"-"+"rate"+"-"+temp, "cf", "rowkey", String.valueOf(i));
    		put(tableName, String.valueOf(i), columnFamily4, "num", String.valueOf(a));
    		put(tableName2, String.valueOf(a)+"-"+columnFamily4+"-"+"num"+"-"+temp, "cf", "rowkey", String.valueOf(i));
    		put(tableName, String.valueOf(i), columnFamily4, "temperature", String.valueOf(b));
    		put(tableName2, String.valueOf(b)+"-"+columnFamily4+"-"+"temperature"+"-"+temp, "cf", "rowkey", String.valueOf(i));

    		put(tableName, String.valueOf(i), columnFamily5, "totoal", String.valueOf(i));
    		put(tableName2, String.valueOf(i)+"-"+columnFamily5+"-"+"totoal"+"-"+temp, "cf", "rowkey", String.valueOf(i));
    		put(tableName, String.valueOf(i), columnFamily5, "rate", String.valueOf(a));
    		put(tableName2, String.valueOf(a)+"-"+columnFamily5+"-"+"rate"+"-"+temp, "cf", "rowkey", String.valueOf(i));
    	}
    }
  
    public static Configuration getConfiguration() {  
    	Configuration conf = HBaseConfiguration.create();  
    	conf.set("hbase.zookeeper.quorum",  "192.168.205.153");  //  Zookeeper的地址  
    	conf.set("hbase.zookeeper.property.clientPort", "2181");
    	return conf;
    }

    public static void put(String tableName, String row, String columnFamily,  
    		String column, String data) throws IOException {  
    	HTable table = new HTable(getConfiguration(), tableName);  
    	Put put = new Put(Bytes.toBytes(row));  
    	put.add(Bytes.toBytes(columnFamily), Bytes.toBytes(column), Bytes.toBytes(data));  
    	table.put(put);
//    	System.err.println("SUCCESS");
    }  
}
注：这样做插的很慢，我差不多快一天了才总共插入原始表数据52327行，二级索引表214392行数据


用协处理器时需将上面的代码改一下，只插入原表emp就可以，协处理器的代码：

import java.io.IOException;  
import java.util.UUID;

import org.apache.hadoop.conf.Configuration;  
import org.apache.hadoop.hbase.Cell;  
import org.apache.hadoop.hbase.client.Durability;  
import org.apache.hadoop.hbase.client.HTable;  
import org.apache.hadoop.hbase.client.Put;  
import org.apache.hadoop.hbase.coprocessor.BaseRegionObserver;  
import org.apache.hadoop.hbase.coprocessor.ObserverContext;  
import org.apache.hadoop.hbase.coprocessor.RegionCoprocessorEnvironment;  
import org.apache.hadoop.hbase.regionserver.wal.WALEdit;  
import org.apache.hadoop.hbase.util.Bytes;
  
public class TestCoprocessor4 extends BaseRegionObserver {  
    @Override  
    public void prePut(ObserverContext<RegionCoprocessorEnvironment> e,  
            Put put, WALEdit edit, Durability durability) throws IOException {  
          
        Configuration config = new Configuration();  
        @SuppressWarnings("deprecation")
		HTable table = new HTable(config, "hui");
        
        UUID uuid = UUID.randomUUID();
        String str = uuid.toString();
		String temp = str.substring(0, 8) + str.substring(9, 13) + str.substring(14, 18)   
				+ str.substring(19, 23) + str.substring(24);
  
        byte[] row = put.getRow();  
        
        if(put.has("jiben".getBytes(), "dbopt".getBytes())){
        	Cell cell = put.get("jiben".getBytes(), "dbopt".getBytes()).get(0);
        	String newrow = new String(cell.getValueArray(),cell.getValueOffset(),cell.getValueLength())
        		+"-"+"jiben"+"-"+"dbopt"+"-"+temp;
        	Put putIndex = new Put(Bytes.toBytes(newrow));
        	putIndex.addColumn("cf".getBytes(), "hehe".getBytes(), row);  
        	table.put(putIndex);  
        	table.close();
        }else if(put.has("jiben".getBytes(), "probeid".getBytes())){
        	Cell cell = put.get("jiben".getBytes(), "probeid".getBytes()).get(0);
        	String newrow = new String(cell.getValueArray(),cell.getValueOffset(),cell.getValueLength())
        		+"-"+"jiben"+"-"+"probeid"+"-"+temp;
        	Put putIndex = new Put(Bytes.toBytes(newrow));
        	putIndex.addColumn("cf".getBytes(), "hehe".getBytes(), row);  
        	table.put(putIndex);  
        	table.close();
        }else if(put.has("jiben".getBytes(), "type".getBytes())){
        	Cell cell = put.get("jiben".getBytes(), "type".getBytes()).get(0);
        	String newrow = new String(cell.getValueArray(),cell.getValueOffset(),cell.getValueLength())
        		+"-"+"jiben"+"-"+"type"+"-"+temp;
        	Put putIndex = new Put(Bytes.toBytes(newrow));
        	putIndex.addColumn("cf".getBytes(), "hehe".getBytes(), row);  
        	table.put(putIndex);  
        	table.close();
        }else if(put.has("jiben".getBytes(), "size".getBytes())){
        	Cell cell = put.get("jiben".getBytes(), "size".getBytes()).get(0);
        	String newrow = new String(cell.getValueArray(),cell.getValueOffset(),cell.getValueLength())
        		+"-"+"jiben"+"-"+"size"+"-"+temp;
        	Put putIndex = new Put(Bytes.toBytes(newrow));
        	putIndex.addColumn("cf".getBytes(), "hehe".getBytes(), row);  
        	table.put(putIndex);
        	table.close();
        }else if(put.has("disk".getBytes(), "rate".getBytes())){
        	Cell cell = put.get("disk".getBytes(), "rate".getBytes()).get(0);
        	String newrow = new String(cell.getValueArray(),cell.getValueOffset(),cell.getValueLength())
        		+"-"+"disk"+"-"+"rate"+"-"+temp;
        	Put putIndex = new Put(Bytes.toBytes(newrow));
        	putIndex.addColumn("cf".getBytes(), "hehe".getBytes(), row);  
        	table.put(putIndex);  
        	table.close();
        }else if(put.has("disk".getBytes(), "total".getBytes())){
        	Cell cell = put.get("disk".getBytes(), "total".getBytes()).get(0);
        	String newrow = new String(cell.getValueArray(),cell.getValueOffset(),cell.getValueLength())
        		+"-"+"disk"+"-"+"total"+"-"+temp;
        	Put putIndex = new Put(Bytes.toBytes(newrow));
        	putIndex.addColumn("cf".getBytes(), "hehe".getBytes(), row);  
        	table.put(putIndex);  
        	table.close();
        }else if(put.has("disk".getBytes(), "temperature".getBytes())){
        	Cell cell = put.get("disk".getBytes(), "temperature".getBytes()).get(0);
        	String newrow = new String(cell.getValueArray(),cell.getValueOffset(),cell.getValueLength())
        		+"-"+"disk"+"-"+"temperature"+"-"+temp;
        	Put putIndex = new Put(Bytes.toBytes(newrow));
        	putIndex.addColumn("cf".getBytes(), "hehe".getBytes(), row);  
        	table.put(putIndex);  
        	table.close();
        }else if(put.has("cpu1".getBytes(), "rate".getBytes())){
        	Cell cell = put.get("cpu1".getBytes(), "rate".getBytes()).get(0);
        	String newrow = new String(cell.getValueArray(),cell.getValueOffset(),cell.getValueLength())
        		+"-"+"cpu1"+"-"+"rate"+"-"+temp;
        	Put putIndex = new Put(Bytes.toBytes(newrow));
        	putIndex.addColumn("cf".getBytes(), "hehe".getBytes(), row);  
        	table.put(putIndex);  
        	table.close();
        }else if(put.has("cpu1".getBytes(), "num".getBytes())){
        	Cell cell = put.get("cpu1".getBytes(), "num".getBytes()).get(0);
        	String newrow = new String(cell.getValueArray(),cell.getValueOffset(),cell.getValueLength())
        		+"-"+"cpu1"+"-"+"num"+"-"+temp;
        	Put putIndex = new Put(Bytes.toBytes(newrow));
        	putIndex.addColumn("cf".getBytes(), "hehe".getBytes(), row);  
        	table.put(putIndex);  
        	table.close();
        }else if(put.has("cpu1".getBytes(), "temperature".getBytes())){
        	Cell cell = put.get("cpu1".getBytes(), "temperature".getBytes()).get(0);
        	String newrow = new String(cell.getValueArray(),cell.getValueOffset(),cell.getValueLength())
        		+"-"+"cpu1"+"-"+"temperature"+"-"+temp;
        	Put putIndex = new Put(Bytes.toBytes(newrow));
        	putIndex.addColumn("cf".getBytes(), "hehe".getBytes(), row);  
        	table.put(putIndex);  
        	table.close();
        }else if(put.has("cpu2".getBytes(), "rate".getBytes())){
        	Cell cell = put.get("cpu2".getBytes(), "rate".getBytes()).get(0);
        	String newrow = new String(cell.getValueArray(),cell.getValueOffset(),cell.getValueLength())
        		+"-"+"cpu2"+"-"+"rate"+"-"+temp;
        	Put putIndex = new Put(Bytes.toBytes(newrow));
        	putIndex.addColumn("cf".getBytes(), "hehe".getBytes(), row);  
        	table.put(putIndex);  
        	table.close();
        }else if(put.has("cpu2".getBytes(), "num".getBytes())){
        	Cell cell = put.get("cpu2".getBytes(), "num".getBytes()).get(0);
        	String newrow = new String(cell.getValueArray(),cell.getValueOffset(),cell.getValueLength())
        		+"-"+"cpu2"+"-"+"num"+"-"+temp;
        	Put putIndex = new Put(Bytes.toBytes(newrow));
        	putIndex.addColumn("cf".getBytes(), "hehe".getBytes(), row);  
        	table.put(putIndex);  
        	table.close();
        }else if(put.has("cpu2".getBytes(), "temperature".getBytes())){
        	Cell cell = put.get("cpu2".getBytes(), "temperature".getBytes()).get(0);
        	String newrow = new String(cell.getValueArray(),cell.getValueOffset(),cell.getValueLength())
        		+"-"+"cpu2"+"-"+"temperature"+"-"+temp;
        	Put putIndex = new Put(Bytes.toBytes(newrow));
        	putIndex.addColumn("cf".getBytes(), "hehe".getBytes(), row);  
        	table.put(putIndex);  
        	table.close();
        }else if(put.has("memory".getBytes(), "totoal".getBytes())){
        	Cell cell = put.get("memory".getBytes(), "totoal".getBytes()).get(0);
        	String newrow = new String(cell.getValueArray(),cell.getValueOffset(),cell.getValueLength())
        		+"-"+"memory"+"-"+"totoal"+"-"+temp;
        	Put putIndex = new Put(Bytes.toBytes(newrow));
        	putIndex.addColumn("cf".getBytes(), "hehe".getBytes(), row);  
        	table.put(putIndex);  
        	table.close();
        }else if(put.has("memory".getBytes(), "rate".getBytes())){
        	Cell cell = put.get("memory".getBytes(), "rate".getBytes()).get(0);
        	String newrow = new String(cell.getValueArray(),cell.getValueOffset(),cell.getValueLength())
        		+"-"+"memory"+"-"+"rate"+"-"+temp;
        	Put putIndex = new Put(Bytes.toBytes(newrow));
        	putIndex.addColumn("cf".getBytes(), "hehe".getBytes(), row);  
        	table.put(putIndex);  
        	table.close();
        }
    }  
}
用hbase的get命令来查原始表的测试：
hbase(main):029:0> get 'emp','5555','disk:total'
COLUMN                                                       CELL                                                                                                                                                                            
 disk:total                                                  timestamp=1511203588978, value=20095555                                                                                                                                         
1 row(s) in 0.0050 seconds

API： 

import java.io.IOException;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.hbase.HBaseConfiguration;
import org.apache.hadoop.hbase.KeyValue;
import org.apache.hadoop.hbase.client.Get;
import org.apache.hadoop.hbase.client.HTable;
import org.apache.hadoop.hbase.client.Result;
import org.apache.hadoop.hbase.util.Bytes;

public class GetData {
    public static void main(String[] args) throws IOException {
        String tableName = "emp";
    	long b = System.currentTimeMillis();
//    	get(tableName, "5555");	//直接查原始表的rowkey查整行数据
    	getResultByColumn(tableName, "5555", "disk", "total");	//直接定位到列
    	long e = System.currentTimeMillis();
    	System.out.println("spend:"+(e-b)+"ms");
    }
  
    public static Configuration getConfiguration() {  
        Configuration conf = HBaseConfiguration.create();  
    	conf.set("hbase.zookeeper.quorum",  "192.168.205.153");  //  Zookeeper的地址  
    	conf.set("hbase.zookeeper.property.clientPort", "2181");
        return conf;
    }  
  
    public static void get(String tableName, String rowkey) throws IOException {
        HTable table = new HTable(getConfiguration(), tableName);
        Get get = new Get(Bytes.toBytes(rowkey));
        Result result = table.get(get);
        for (KeyValue kv : result.list()) {
            System.out.println("family:" + Bytes.toString(kv.getFamily()));
            System.out.println("qualifier:" + Bytes.toString(kv.getQualifier()));
            System.out.println("value:" + Bytes.toString(kv.getValue()));
            System.out.println("Timestamp:" + kv.getTimestamp());
            System.out.println("-------------------------------------------");
        }
    }
    
    public static void getResultByColumn(String tableName, String rowKey,
            String familyName, String columnName) throws IOException {
        HTable table = new HTable(getConfiguration(), Bytes.toBytes(tableName));
        Get get = new Get(Bytes.toBytes(rowKey));
        get.addColumn(Bytes.toBytes(familyName), Bytes.toBytes(columnName)); // 获取指定列族和列修饰符对应的列
        Result result = table.get(get);
        for (KeyValue kv : result.list()) {
            System.out.println("family:" + Bytes.toString(kv.getFamily()));
            System.out.println("qualifier:" + Bytes.toString(kv.getQualifier()));
            System.out.println("value:" + Bytes.toString(kv.getValue()));
            System.out.println("Timestamp:" + kv.getTimestamp());
            System.out.println("-------------------------------------------");
        }
    }
}
在myeclipse中运行上面的程序所需要的时间：
spend:10489ms
spend:10548ms
spend:10364ms

在Linux本地中：
spend:1746ms
spend:1605ms
spend:1644ms


scan方法配合过滤器的效果：

hbase(main):067:0> scan 'emp', {FILTER => "RowFilter(=,'binary:5555')"}
ROW                                                          COLUMN+CELL                                                                                                                                                                     
 5555                                                        column=cpu1:num, timestamp=1511203589032, value=80                                                                                                                              
 5555                                                        column=cpu1:rate, timestamp=1511203589016, value=0.0                                                                                                                            
 5555                                                        column=cpu1:temperature, timestamp=1511203589056, value=13                                                                                                                      
 5555                                                        column=cpu2:num, timestamp=1511203589093, value=13                                                                                                                              
 5555                                                        column=cpu2:rate, timestamp=1511203589075, value=1.0                                                                                                                            
 5555                                                        column=cpu2:temperature, timestamp=1511203589113, value=80                                                                                                                      
 5555                                                        column=disk:rate, timestamp=1511203588960, value=80                                                                                                                             
 5555                                                        column=disk:temperature, timestamp=1511203588996, value=13                                                                                                                      
 5555                                                        column=disk:total, timestamp=1511203588978, value=20095555                                                                                                                      
 5555                                                        column=jiben:dbopt, timestamp=1511203588888, value=insert                                                                                                                       
 5555                                                        column=jiben:probeid, timestamp=1511203588908, value=5555                                                                                                                       
 5555                                                        column=jiben:size, timestamp=1511203588943, value=374                                                                                                                           
 5555                                                        column=jiben:type, timestamp=1511203588925, value=type                                                                                                                          
 5555                                                        column=memory:rate, timestamp=1511203589149, value=13                                                                                                                           
 5555                                                        column=memory:totoal, timestamp=1511203589131, value=5555                                                                                                                       
1 row(s) in 0.7600 seconds
API： 
import java.io.IOException;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.hbase.Cell;
import org.apache.hadoop.hbase.CellUtil;
import org.apache.hadoop.hbase.HBaseConfiguration;
import org.apache.hadoop.hbase.TableName;
import org.apache.hadoop.hbase.client.Admin;
import org.apache.hadoop.hbase.client.Connection;
import org.apache.hadoop.hbase.client.ConnectionFactory;
import org.apache.hadoop.hbase.client.Result;
import org.apache.hadoop.hbase.client.ResultScanner;
import org.apache.hadoop.hbase.client.Scan;
import org.apache.hadoop.hbase.client.Table;
import org.apache.hadoop.hbase.filter.BinaryComparator;
import org.apache.hadoop.hbase.filter.CompareFilter.CompareOp;
import org.apache.hadoop.hbase.filter.Filter;
import org.apache.hadoop.hbase.filter.PrefixFilter;
import org.apache.hadoop.hbase.filter.RowFilter;
import org.apache.hadoop.hbase.util.Bytes;

public class ScanData {
	  
    public static Admin admin = null;
    public static Connection conn = null;
  
    public ScanData() {
        Configuration conf = HBaseConfiguration.create();
	    conf.set("hbase.zookeeper.quorum",  "192.168.205.153");  //  Zookeeper的地址
	    conf.set("hbase.zookeeper.property.clientPort", "2181");
        try {
            conn = ConnectionFactory.createConnection(conf);
            admin = conn.getAdmin();
        } catch (IOException e) {
            e.printStackTrace();
        }
    }
    public static void main(String[] args) throws Exception {
    	ScanData hbase = new ScanData();
//    	long b = System.currentTimeMillis();
//    	hbase.RowFilter("emp","5555");
//    	long e = System.currentTimeMillis();
//    	System.out.println("spend:"+(e-b)+"ms");
    	
    	long c = System.currentTimeMillis();
    	hbase.PrefixFilter("hui", "20095555"+"-"+"disk"+"-"+"total");
//    	hbase.RowFilter1("hui", "20095555-disk-total-fe7f4fe8d3ef4e60b1056e9c46a25e88");
    	long d = System.currentTimeMillis();
    	System.out.println("spend:"+(d-c)+"ms");
    }
    
    public void RowFilter(String tableName, String reg) throws Exception {
        Table table = conn.getTable(TableName.valueOf(tableName));
        Scan scan = new Scan();
        Filter filter = new RowFilter(CompareOp.EQUAL,  new BinaryComparator(Bytes.toBytes(reg)));
        scan.setFilter(filter);
        ResultScanner scanner = table.getScanner(scan);
        for (Result r : scanner) {
            for (Cell cell : r.rawCells()) {
                System.out.println(  
                        "Rowkey-->"+Bytes.toString(r.getRow())+"  "+  
                        "Familiy:Quilifier-->"+""+Bytes.toString(CellUtil.cloneQualifier(cell))+"  "+
                        "Value-->"+Bytes.toString(CellUtil.cloneValue(cell)));
            }
        }
    }
    
    public void RowFilter1(String tableName, String reg) throws Exception {
        Table table = conn.getTable(TableName.valueOf(tableName));
        Scan scan = new Scan();  
        Filter filter = new RowFilter(CompareOp.EQUAL,  new BinaryComparator(Bytes.toBytes(reg)));  
        scan.setFilter(filter);
        ResultScanner scanner = table.getScanner(scan);
        for (Result r : scanner) {
            for (Cell cell : r.rawCells()) {
                System.out.println(
                        "Rowkey-->"+Bytes.toString(r.getRow())+"  "+
                        "Familiy:Quilifier-->"+Bytes.toString(CellUtil.cloneQualifier(cell))+"  "+
                        "Value-->"+Bytes.toString(CellUtil.cloneValue(cell)));
                ScanData hbase = new ScanData();
                hbase.RowFilter("emp",Bytes.toString(CellUtil.cloneValue(cell)));
            }
        }
    }
    
    public void PrefixFilter(String tableName, String reg) throws Exception {  
        Table table = conn.getTable(TableName.valueOf(tableName));  
        Scan scan = new Scan();  
        Filter filter = new PrefixFilter(Bytes.toBytes(reg));
        scan.setFilter(filter);
        ResultScanner scanner = table.getScanner(scan);  
        for (Result r : scanner) {
            for (Cell cell : r.rawCells()) {
                System.out.println(
                        "Rowkey-->"+Bytes.toString(r.getRow())+"  "+
                        "Familiy:Quilifier-->"+Bytes.toString(CellUtil.cloneQualifier(cell))+"  "+
                        "Value-->"+Bytes.toString(CellUtil.cloneValue(cell)));
                ScanData hbase = new ScanData();
                hbase.RowFilter("emp",Bytes.toString(CellUtil.cloneValue(cell)));
            }  
        }  
    }
}
myeclipse中：
spend:5690ms
spend:5534ms

Linux本地中：
spend:1014ms
spend:1036ms


先查二级索引表的rowkey（20095555-disk-total-fe7f4fe8d3ef4e60b1056e9c46a25e88）再查原表：
myeclipse中：
spend:6136ms
spend:6064ms


Linux本地中：
spend:1549ms
spend:1333ms
spend:1260ms


先查二级索引表的rowkey前缀（20095555-disk-total）再查原表：
myeclipse中：
spend:5574ms
spend:5573ms


Linux本地中：
spend:1067ms
spend:1197ms
spend:1083ms


我这样做只是实现了功能，但效率好像并不是很好（如果数据量很大的话二级索引表就太浪费资源了）

小强签名设计
关注
专栏目录
hbase
bingoabin
08-03 4725
HBase是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统。  适合于存储大表数据（表的规模可以达到数十亿行以及数百万列），并且对大表数据的读、写访问可以达到实时级别；  利用Hadoop HDFS（Hadoop Distributed File System）作为其文件存储系统，提供高可靠性、高性能、列存储、可伸缩、实时读写的数据库系统；  利用ZooKeeper作为协同服务。...
HBase的Java API操作
qq_40078490的博客
07-31 2461
HBase的Java API操作代码，实现增删改查，过滤功能
Hbase行键设计（rowkey）实现多条件查询
01-27
HBASE的使用跟业务逻辑有很强的关联性，就像本文里提到的例子使用ElasticSearch更合适。HBASE适合那种使用key-value模式的快速查询，多字段查询还是不适合它。 所以大家如果看本文的话，就全当是加深对hbase过滤器的理解吧，内容概括起来就是实现一个使用位运算的比较器。本文主要内容是通过合理hbase行键（rowkey)设计实现快速的多条件查询，所采用的方法将所有要用于查询中的列经过一些处理后
hbase查询代码用列
fan_bigdata的博客
01-29 604
hbase查询代码用例
hbase上怎么查表数据
最新发布
weixin_36435829的博客
06-28 394
shell相关视频讲解：Linux shell脚本编程入门详细讲解在HBase上如何查询表数据 HBase是一个分布式、可扩展、面向列的NoSQL数据库，我们可以通过HBase Shell或API来查询表数据。本文将介绍如何使用HBase Shell来查找表数据的方法，并提供一个具体的案例。 使用HBase Shell查...
Hbase按指定列族中指定列的列值查找数据Hbase命令
weixin_43319946的博客
06-27 8856
最近在做大数据的实验时，遇到需要类似于sql中 select XXX from where xxxxx=xxx的一个检索的需求，翻了好多博客都没有解决，最后通过查看hbase filte的文档，使用SingleValueFilter过滤器 表的结构 #结构 Student表，包含Base和Score两个列族 Base列族包含Number、Name、Sex、Prof列；//学号、姓名、性别、专业 Score列族包含English、Math、Market、Java、Python、BigData.
Java进行Hbase查询
橙子橙子大橙子的博客
11-20 1950
Hbase存储结构和查询方式已经有所了解，如何调用连接并且进行数据查询呢，这里使用jmeter脚本进行操作： Hbase查询主要是scaner通过滤器filter进行操作，根据要查询列族还是rowkey可分为多种filter，可根据具体条件来进行查询，放个filter比较全的链接，有兴趣可以参考：https://www.jianshu.com/p/bcc54f63abe4 以下为代码，包括rowkey前缀模糊查询+列前缀模糊查询+值范围查询等几个组合查询，多个filter可以放到一个list里，单个filt
mysql 多表联合查询_mysql-多表查询
weixin_39700220的博客
12-03 440
SELECT查询不但可以从一张表查询数据，还可以从多张表同时查询数据。查询多张表的语法是：SELECT * FROM 。例如，同时从students表和classes表的“乘积”，即查询数据，可以这么写：这种一次查询两个表的数据，查询的结果也是一个二维表，它是students表和classes表的“乘积”，即students表的每一行与classes表的每一行都两两拼在一起返回。结果集的列数是s...
hbase集群 数据写入_HBase海量数据存储
weixin_42314860的博客
12-23 468
HBaseHBase是一个基于HDFS的非关系型数据库(海量数据存储)HBase的特点1.海量数据存储，HBase中的表可以容纳上百亿行x上百万列的数据。2.列式存储，HBase中的数据是基于列进行存储的，能够动态的增加和删除列。3.准实时查询，HBase在海量的数据量下能够接近准实时的查询(百毫秒以内)4.多版本，HBase中每一列的数据都有多个版本。5.高可靠性，HBase中的数据存储于HDF...
HBase过滤器
weixin_58078092的博客
10-20 933
HBase过滤器 文章目录HBase过滤器作用比较过滤器比较运算符常见的六大比较过滤器BinaryComparator（二进制比较器）BinaryPrefixComparator（二进制前缀比较器）NullComparator（空比较器）一般不用BitComparator（位比较器）一般不用RegexStringComparator（正则比较器）SubstringComparator示例代码rowKey过滤器：RowFilter列簇过滤器：FamilyFilter列过滤器：QualifierFilter列值
HBase的java操作，最新API。（查询指定行、列、插入数据等）
billfanggs的专栏
06-01 720
关于HBase环境搭建和HBase的原理架构，请见笔者相关博客。 1.HBase对java有着较优秀的支持，本文将介绍如何使用java操作Hbase。 首先是pom依赖： <dependency> <groupId>org.apache.hbase</groupId> <artifactId>hbase-client</artifactId> <version>1.3.1</version> &...
hbase查询
qq_24166417的博客
05-26 779
get获取数据： 从 table_test 表中查 rowkey 为 rk01 的所有列簇的所有数据 get 'table_test','rk01 从 table_test 表中查 rowkey 为 rk01 的列为 cf1:name 的最新数据 get 'table_test','rk01','cf1:name' 从 table_test 表中查 rowkey 为 rk01 的列为 cf1:name 的所有版本数据， 3 个版本 get 'table_te...
Hbase的表查询操作
m0_53291740的博客
05-16 3164
1.scan 可以不用输入rowkey,能按照一定的规则查出来对应的rowkey和值 public void scan(String tablename,String cf,String column) throws Exception{ HTable table=new HTable(conf,tablename); Scan s=new Scan(); s.setStartRow(Bytes.toBytes("0"));//可以限定rowkey的范围，字典序 s.setSto
hbase 查询某列_hbase+JAVA语言实例，Scan查询所有、get根据rowkey查询一行或一列数据...
weixin_39600885的博客
12-21 813
本文主要向大家介绍了hbase+JAVA语言实例，Scan查询所有、get根据rowkey查询一行或一列数据，通过具体的内容向大家展示，希望对大家学习JAVA语言有所帮助。hbase+java实例，Scan查询所有、get根据rowkey查询一行或一列数据importjava.io.IOException;importjava.text.SimpleDateFormat;importjava...
hbase数据查询及过滤器详细使用
热门推荐
小强签名设计 的博客
06-23 2万+
创建并插入数据： hbase(main):179:0> create 'scores','grade','course' hbase(main):180:0> put 'scores','zhangsan01','course:art','90' hbase(main):181:0> scan 'scores' ROW
Hbase基础
weixin_55862251的博客
12-20 1231
Hbase简介： Hbase是Apache旗下一个高可靠性、高性能、面向列、可伸缩的分布式数据库。 Cap理论： Consistency(一致性):数据一致更新、所有数据变动都是同步的。 Availability(可用性):良好的响应性能 Partition tolerance(分区容错性):可靠性 ...
HBase shell 基本操作
小城我家
10-19 812
HBase shell 基本操作 进入Hbase客户端命令操作界面 hbase shell 查看帮助命令 help 查看当前数据库中有哪些表 list 创建一张lagou表， 包含base_info、extra_info两个列族 create 'lagou', 'base_info', 'extra_info' 或者 create 'lagou', {NAME => 'base_info', VERSIONS => '3'},{NAME => 'extra_info',VERSI
HBase
helloworld999999的博客
01-21 3681
一、初始HBase 1.1 HBase简介 1.1.1 HBase是什么 HBase是Goole的BigTable论文而来，是一个分布式海量列示非关系型数据库系统，可以提供超大规模数据集的实时随机读写。 认识HBase列存储 如下是MySql存储机制，空值字段浪费存储空间 如果是列存储的话： 列存储的优点： 1.减少存储空间的占用。 ...
hbase建表，删表，修改，查询（get,scan,布隆过滤器）
a284365的博客
12-30 2051
hbase关于表使用的具体流程，涉及到表的创建，删除，修改，查询（get，scan，布隆过滤器）
Hadoop Hive整合Hbase：实现HQL查询Hbase数据
完成以上配置后，Hive就可以识别并操作HBase中的表，用户可以通过HQL（Hive Query Language）来查询和处理存储在HBase的数据。这种方式极大地提升了数据分析的便捷性，使得Hadoop、HBase和Hive能够协同工作，形成一...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

小强签名设计

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值