HBase与Hive练习题

最新推荐文章于 2022-01-24 15:38:43 发布
最新推荐文章于 2022-01-24 15:38:43 发布
阅读量729 收藏 1
点赞数
分类专栏： Hive
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Daivei_lai/article/details/103857096
版权

本题是一个综合练习题目总共包括以下部分：
1.数据的预处理阶段
2.数据的入库操作阶段
3.数据的分析阶段
4.数据保存到数据库阶段
5.数据的查询显示阶段

原始数据示例：
qR8WRLrO2aQ:mienge:406:People & Blogs:599:2788:5:1:0:4UUEKhr6vfA:zvDPXgPiiWI:TxP1eXHJQ2Q:k5Kb1K0zVxU:hLP_mJIMNFg:tzNRSSTGF4o:BrUGfqJANn8:OVIc-mNxqHc:gdxtKvNiYXc:bHZRZ-1A-qk:GUJdU6uHyzU:eyZOjktUb5M:Dv15_9gnM2A:lMQydgG1N2k:U0gZppW_-2Y:dUVU6xpMc6Y:ApA6VEYI8zQ:a3_boc9Z_Pc:N1z4tYob0hM:2UJkU2neoBs
预处理之后的数据示例：
qR8WRLrO2aQ:mienge:406:People & Blogs:599:2788:5:1:0:4UUEKhr6vfA,zvDPXgPiiWI,TxP1eXHJQ2Q,k5Kb1K0zVxU,hLP_mJIMNFg,tzNRSSTGF4o,BrUGfqJANn8,OVIc-mNxqHc,gdxtKvNiYXc,bHZRZ-1A-qk,GUJdU6uHyzU,eyZOjktUb5M,Dv15_9gnM2A,lMQydgG1N2k,U0gZppW_-2Y,dUVU6xpMc6Y,ApA6VEYI8zQ,a3_boc9Z_Pc,N1z4tYob0hM,2UJkU2neoBs

1、对原始数据进行预处理，格式为上面给出的预处理之后的示例数据。
通过观察原始数据形式，可以发现，每个字段之间使用“:”分割，视频可以有多个视频类别，类别之间&符号分割，且分割的两边有空格字符，同时相关视频也是可以有多个，多个相关视频也是用“:”进行分割。为了分析数据时方便，我们首先进行数据重组清洗操作。
即：将每条数据的类别用“，”分割，同时去掉两边空格，多个“相关视频id”也使用“,”进行分割

2、把预处理之后的数据进行入库到hive中
2.1创建数据库和表
创建数据库名字为：video
创建原始数据表：
视频表：video_ori 用户表：video_user_ori
创建ORC格式的表：
视频表：video_orc 用户表：video_user_orc
给出创建原始表语句
创建video_ori视频表：
create database video;

create table video_ori(
videoId string,
uploader string,
age string,
category string,
length string,
views string,
rate string,
ratings string,
comments string,
relatedId string)
row format delimited
fields terminated by “:”
stored as textfile;
创建video_user_ori用户表：
create table video_user_ori(
uploader string,
videos string,
friends string)
row format delimited
fields terminated by “,”
stored as textfile;
请写出ORC格式的建表语句：
创建video_orc表
create table video_orc(
videoId string,
uploader string,
age string,
category string,
length string,
views string,
rate string,
ratings string,
comments string,
relatedId string)
row format delimited
fields terminated by “:”
stored as ORC;

创建video_user_orc表：
create table video_user_orc(
uploader string,
videos string,
friends string)
row format delimited
fields terminated by “,”
stored as ORC;

2.2分别导入预处理之后的视频数据到原始表video_ori和导入原始用户表的数据到video_user_ori中
请写出导入语句：
video_ori：
LOAD DATA INPATH ‘/export/data/video.txt’ OVERWRITE INTO TABLE video_ori;
video_user_ori：
LOAD DATA INPATH ‘/export/data/user.txt’ OVERWRITE INTO TABLE video_user_ori;

2.3从原始表查询数据并插入对应的ORC表中
请写出插入语句：
video_orc：
INSERT INTO TABLE video_orc SELECT * FROM video_ori;

video_user_orc：
INSERT INTO TABLE video_user_orc SELECT * FROM video_user_ori;

3、对入库之后的数据进行hivesql查询操作
3.1从视频表中统计出视频评分为5分的视频信息，把查询结果保存到/export/rate.txt
请写出sql语句：
hive -e “select * from testdb.video_ori where rate==5.0” >> /export/rate.txt;
sed -i ‘s/]//g’ rate.txt
sed -i ‘s/[//g’ rate.txt
sed -i ‘s/\”//g’ rate.txt
3.2从视频表中统计出评论数大于100条的视频信息,把查询结果保存到/export/comments.txt
请写出sql语句：conments

hive -e “select * from testdb.video_ori where comments >100” >> /export/comments.txt;
sed -i ‘s/]//g’ comments.txt
sed -i ‘s/[//g’ comments.txt
sed -i ‘s/\”//g’ comments.txt
3.1
hive -e "select * from video.video_orc where rate=5 " > 5.txt
3.2
hive -e "select * from video.video_orc where comments >100 " > 100.txt

4.数据保存到数据库阶段
4.1建表语句
创建rate外部表的语句：
create external table rate(
videoId string,
uploader string,
age string,
category string,
length string,
views string,
rate string,
ratings string,
comments string,
relatedId string)
row format delimited
fields terminated by “\t”
stored as textfile;

创建comments外部表的语句：
create external table comments(
videoId string,
uploader string,
age string,
category string,
length string,
views string,
rate string,
ratings string,
comments string,
relatedId string)
row format delimited
fields terminated by “\t”
stored as textfile;
4.2
数据加载语句
load data local inpath ‘/opt/5.txt’ into table rate;
load data local inpath ‘/opt/100.txt’ into table comments;
4.3
创建hive hbase映射表
create table video.hbase_rate(
videoId string,
uploader string,
age string,
category string,
length string,
views string,
rate string,
ratings string,
comments string,
relatedId string)
stored by ‘org.apache.hadoop.hive.hbase.HBaseStorageHandler’
with serdeproperties(“hbase.columns.mapping” = “cf:uploader,cf:age,cf:category,cf:length,cf:views,cf:rate,cf:ratings,cf:comments,cf:relatedId”)
tblproperties(“hbase.table.name” = “hbase_rate”);

create table video.hbase_comments(
videoId string,
uploader string,
age string,
category string,
length string,
views string,
rate string,
ratings string,
comments string,
relatedId string)
stored by ‘org.apache.hadoop.hive.hbase.HBaseStorageHandler’
with serdeproperties(“hbase.columns.mapping” = “cf:uploader,cf:age,cf:category,cf:length,cf:views,cf:rate,cf:ratings,cf:comments,cf:relatedId”)
tblproperties(“hbase.table.name” = “hbase_comments”);

4.4
插入数据
insert into table hbase_rate select * from rate;

insert into table hbase_comments select * from comments;

5.数据的查询显示阶段
5.1
代码结果【截图】

代码

5.2
代码结果【截图】

代码

----->idea内容

public class MyMapper extends Mapper<LongWritable, Text,Text,Text> {
    @Override
    protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {
        String s = value.toString();
        boolean contains = s.contains(" & ");
        if (contains) {
            String[] split = s.split(" & ");
            StringBuffer ss = new StringBuffer();
            ss.append(split[0]);
            ss.append(",");
            ss.append(split[1]);
            StringBuffer sa = new StringBuffer();
            String[] split1 = ss.toString().split(":");
            for (int i = 0; i < split1.length; i++) {
                if (i < 9) {
                    if (i==split1.length-1){
                        sa.append(split1[i]);
                    }else {
                        sa.append(split1[i]);
                        sa.append(":");
                    }
                } else {
                    if (i==split1.length-1){
                        sa.append(split1[i]);
                    }else {
                        sa.append(split1[i]);
                        sa.append(",");
                    }
                }
            }

            context.write(new Text("ok"),new Text(sa.toString()));
        }
        else {
            StringBuffer sa = new StringBuffer();
            String[] split1 = s.toString().split(":");
            for (int i = 0; i < split1.length; i++) {
                if (i < 9) {
                    sa.append(split1[i]);
                    sa.append(":");
                } else {
                    if (i==split1.length-1){
                        sa.append(split1[i]);
                    }else {
                        sa.append(split1[i]);
                        sa.append(",");
                    }
                }
            }
            context.write(new Text("ok"),new Text(sa.toString()));
        }
    }
}

public class MyReduce extends Reducer<Text,Text,Text, Text> {
    @Override
    protected void reduce(Text key, Iterable<Text> values, Context context) throws IOException, InterruptedException {
        StringBuffer sb=new StringBuffer();
        for (Text value : values) {
            sb.append(value.toString()+"\r\n");
        }
        try {
            add(sb.toString());
        } catch (URISyntaxException e) {
            e.printStackTrace();
        }

    }
    public void add(String ss) throws URISyntaxException, IOException, InterruptedException {
        FileSystem fileSystem = FileSystem.get(new URI("hdfs://192.168.100.201:8020"), new Configuration(), "root");
        byte[] bytes = ss.getBytes();
        FSDataOutputStream fsDataOutputStream = fileSystem.create(new Path("/Out/value.txt"));
        fsDataOutputStream.write(bytes,0,bytes.length);
        fsDataOutputStream.close();
    }

}


public class MyLoadData {
    public static void main(String[] args) throws Exception {
        //设置链接的服务器
        ConnBean connBean=new ConnBean("node001", "root","123456" );
        //链接服务器
        SSHExec sshExec =SSHExec.getInstance(connBean);
        sshExec.connect();
        FileSystem fileSystem = FileSystem.get(new URI("hdfs://node001:8020"), new Configuration());
        FileStatus[] fileStatuses = fileSystem.listStatus(new Path("/Out"));


        for (FileStatus fileStatus : fileStatuses) {
            Path path=fileStatus.getPath();
            String s="hive -e \"load data inpath '/Out/"+path.getName()+"'into table testdb.video_ori\"";
            //设置执行的命令
//            ExecCommand execCommand=new ExecCommand("hive -e \"load data inpath '/OutPut/"+name+"' into table telecom.networkqualityinfo partition(Year='"+name.replace(".txt","").split("-")[0]+"',Month='"+name.replace(".txt","").split("-")[1]+"',Day='"+name.replace(".txt","").split("-")[2]+"');\"");
            ExecCommand execCommand=new ExecCommand(s);

            //执行命令
            Result exec = sshExec.exec(execCommand);
        }

        //关闭连接
        sshExec.disconnect();
        fileSystem.close();

    }
}


public class Dirver extends Configured implements Tool {
    @Override
    public int run(String[] args) throws Exception {
        Job job=Job.getInstance(new Configuration(),"fgd");
        job.setInputFormatClass(TextInputFormat.class);
        job.setOutputFormatClass(TextOutputFormat.class);
        TextInputFormat.addInputPath(job,new Path("F:\\大数据上学期视频代码\\作业\\有关题目\\12月考试预备\\video.txt"));
        TextOutputFormat.setOutputPath(job,new Path("F:\\大数据上学期视频代码\\作业\\有关题目\\12月考试预备\\no"));
        job.setMapperClass(MyMapper.class);
        job.setMapOutputKeyClass(Text.class);
        job.setMapOutputValueClass(Text.class);
        job.setReducerClass(MyReduce.class);
        job.setOutputKeyClass(Text.class);
        job.setOutputValueClass(Text.class);
        int i = job.waitForCompletion(true) ? 0 : 1;
        return i;
    }
    public static void main(String[] args) throws Exception {
        int run = ToolRunner.run(new Dirver(), args);
        System.out.println(run);
    }
}


public class text2 {
    public static void main(String[] args) throws IOException {
        //连接数据库
        Configuration conf=new Configuration();
        conf.set("hbase.zookeeper.quorum","node001:2181,node002:2181,node003:2181");
        Connection connection= ConnectionFactory.createConnection(conf);
        //读取表
        Table mytable=connection.getTable(TableName.valueOf("hbase_rate"));
        //全表扫描
        Scan scan=new Scan();
        //区间扫描
        scan.setStartRow("fdrgdfg".getBytes());
        scan.setStopRow("fdgd".getBytes());

        ResultScanner scanner=mytable.getScanner(scan);
        //result 是与一行数据（有多个列族，多个列）
        for (Result result : scanner) {
            System.out.println(Bytes.toString(result.getRow()));
            System.out.println(Bytes.toString(result.getValue("cf".getBytes(),"age".getBytes())));
        }
        //关闭连接
        connection.close();

    }
}


public class text3 {
    //数据的查询
    public static void main(String[] args) throws IOException {
        //连接数据库
        Configuration conf = new Configuration();
        conf.set("hbase.zookeeper.quorum", "node001:2181,node002:2181,node003:2181");
        Connection connection = ConnectionFactory.createConnection(conf);
        //读取表
        Table mytable = connection.getTable(TableName.valueOf("hbase_commer"));
        Scan scan = new Scan();
        //result是一行数据
        ResultScanner scanner = mytable.getScanner(scan);
        for (Result result : scanner) {
            //遍历一行内的所有行
            Cell[] cells = result.rawCells();
            //遍历每个 cell
            for (Cell cell : cells) {
                if (Bytes.toString(CellUtil.cloneQualifier(cell)).equals("comments")) {
                    System.out.println(Bytes.toString(CellUtil.cloneFamily(cell)) + ":" + Bytes.toString(CellUtil.cloneQualifier(cell)) + "-" + Bytes.toString(CellUtil.cloneValue(cell)));
                }
            }
        }
        //关闭连接
        connection.close();
    }
}

判断表是否存在
public class HBASE_API {

private static Configuration conf;

static{
    //使用HbaseConfiguration的单例方法实例化
    conf = HBaseConfiguration.create();

    /**
     * "hbase.zookeeper.quorum" 在hbase的conf下 sist.xml下 hbase的name
     * 使用主机名之前，确保win的host配置文件中配置Linux对应的ip和主机映射
     * */
    conf.set("hbase.zookeeper.quorum", "bigdata111");

    //客户端  端口号
    conf.set("hbase.zookeeper.property.clientPort", "2181");

    //znode节点  在Hadoop的储存地址
    conf.set("zookeeper.znode.parent", "/hbase");
}

/**
 *判断表是否存在
 **/

public static boolean is_table_exist(String table_name) throws IOException {
    //创建Hbase客户端
    Connection connection = ConnectionFactory.createConnection(conf);
    HBaseAdmin admin = (HBaseAdmin) connection.getAdmin();

    //判断是否存在
     return admin.tableExists(Bytes.toBytes(table_name));
}

public static void main(String[] args) throws IOException {
//判断表是否存在
System.out.println(is_table_exist(“aa”));

    //创建表
    createTable("idea1","cf1","cf2","cf3");

    //插入数据
    for (int i = 0; i < 100; i++){
        add_row_data("idea1",String.valueOf(i),"cf","name","wind"+ i);
    }

    //获取某一行指定列数据
    get_row_qualifier("idea1","1","cf","name");

    //获取某一行所有数据
    get_row("idea1","2");

    //获取所有数据
    get_all_rows("idea1");

    //删除多行数据
    delete_multi_row("idea1","1","2","3");

    //删除表
    drop_table("idea1");
}

}

创建表
/**
* 创建表：表名，列簇（可以是多个）
* */

public static void createTable(String table_name, String...columnFamily) throws IOException {
    HBaseAdmin admin = new HBaseAdmin(conf);

    //判断表是否存在
    if(is_table_exist(table_name)){
        System.out.println(table_name+ "已存在");
    }else {
        //创建表属性对象，表名需要转换字节
        HTableDescriptor hTableDescriptor = new HTableDescriptor(TableName.valueOf(table_name));
        //创建列簇
        for(String cf : columnFamily){
            hTableDescriptor.addFamily(new HColumnDescriptor(cf));
        }
        admin.createTable(hTableDescriptor);
        System.out.println(table_name+ "创建成功");
    }

}

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
插入数据
/**
* 插入数据：表名，rowkey，列簇，列，value
* */

public static void add_row_data(String table_name, String row, String columnFamily,
                                String column, String value) throws IOException {
    //创建HTable
    HTable hTable = new HTable(conf, table_name);
    //创建put对象
    Put put = new Put(Bytes.toBytes(row));
    //添加列簇，列，数据
    put.add(Bytes.toBytes(columnFamily),Bytes.toBytes(column),Bytes.toBytes(value));
    hTable.put(put);
    hTable.close();
    System.out.println(table_name+ "插入数据成功");
}

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
获取某一行指定“列族:列”的数据
/**
* 获取某一行指定“列族:列”的数据
* */

public static void get_row_qualifier(String table_name, String row, String family, String qualifier) throws IOException {

    HTable hTable = new HTable(conf, table_name);

    Get get = new Get(Bytes.toBytes(row));
    get.addColumn(Bytes.toBytes(family),Bytes.toBytes(qualifier));
    Result result = hTable.get(get);
    for (Cell cell : result.rawCells()){
        System.out.println("行键"+ Bytes.toString(result.getRow()));
        System.out.println("列簇"+ Bytes.toString(CellUtil.cloneFamily(cell)));
        System.out.println("列"+ Bytes.toString(CellUtil.cloneQualifier(cell)));
        System.out.println("值"+ Bytes.toString(CellUtil.cloneValue(cell)));
    }
    System.out.println(table_name+ "插入数据完成");
}

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
获取某一行所有数据
/**
*获取某一行所有数据
* */

public static void get_row(String table_name, String row) throws IOException {
    HTable hTable = new HTable(conf, table_name);
    Get get = new Get(Bytes.toBytes(row));
    //显示所有版本
    //get.setMaxVersions();
    //显示指定时间戳的版本
    //get.setTimeStamp();

    Result result = hTable.get(get);
    for (Cell cell : result.rawCells()){
        System.out.println("行键"+ Bytes.toString(result.getRow()));
        System.out.println("列簇"+ Bytes.toString(CellUtil.cloneFamily(cell)));
        System.out.println("列"+ Bytes.toString(CellUtil.cloneQualifier(cell)));
        System.out.println("值"+ Bytes.toString(CellUtil.cloneValue(cell)));
        System.out.println("时间戳"+ cell.getTimestamp());
    }

}

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
获取某一行所有数据
/**
* 得到所有数据
* */

public static void get_all_rows(String table_name) throws IOException {
    HTable hTable = new HTable(conf,table_name);
    //得到用于扫描 region 的对象
    Scan scan = new Scan();
    //使用 HTable 得到 ResultScanner 实现类的对象
    ResultScanner scanner = hTable.getScanner(scan);
    for (Result result : scanner){
        Cell[] cells = result.rawCells();
        for (Cell cell : cells){
            System.out.println("行键"+ Bytes.toString(CellUtil.cloneRow(cell)));
            System.out.println("列簇"+ Bytes.toString(CellUtil.cloneFamily(cell)));
            System.out.println("列"+ Bytes.toString(CellUtil.cloneQualifier(cell)));
            System.out.println("值"+ Bytes.toString(CellUtil.cloneValue(cell)));
        }
    }
}

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
删除多行数据
/**
* 删除多行数据
* */

public static void delete_multi_row(String table_name, String...rows) throws IOException {
    HTable hTable = new HTable(conf, table_name);
    List<Delete> deletes = new ArrayList<Delete>();
    for (String row : rows){
        Delete delete = new Delete(Bytes.toBytes(row));
        deletes.add(delete);
        hTable.delete(deletes);
        hTable.close();

    }
}

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
删除表
/**
* 删除表
* */

public static void drop_table(String table_name) throws IOException {
    HBaseAdmin admin = new HBaseAdmin(conf);

    //判断表是否存在
    if (is_table_exist(table_name)){
        //停用表
        admin.disableTable(table_name);
        //删除表
        admin.deleteTable(table_name);
        System.out.println(table_name+ "已删除");
    }else {
        System.out.println(table_name+ "已存在");
    }
}
Daivei_lai
关注
专栏目录
Hbase练习1
灰哀之雪的博客
09-12 2662
第一大题：namespace的shell操作 1、创建一个命名空间myns,同时设置属性author为自己，time为2020-05-11 create_namespace 'myns',{'author' => '自己','time' => '2020-05-11'} 2、为myns添加一个属性company为qianfeng alter_namespace 'myns',{METHOD => 'set', 'company' => 'qianfeng'} 3、列出所有的命名空
Hbase 练习
04-10
Hbase 练习
hbase练习题
weixin_34362790的博客
06-30 940
-- 配置环境变量,因为在hbase中有的地方可能用到了环境变量-- bin/start-hbase.sh-- bin/hbase shell-- 访问http://mini0:16010/ 可以看浏览器页面名称 命令表达式 查看所有表 list list 创建表 create '表名', '列族名1','列族名2','列族名N' create 'www.qq.com2017...
HBase基础测试题
快乐的鱼儿学敲码
10-22 9985
1. HBase来源于哪篇博文？ C A The Google File System B MapReduce C BigTable D Chubby 2. 下面对HBase的描述哪些是正确的？ B、C、D A 不是开源的 B 是面向列的 C 是分布式的 D 是一种NoSQL数据库 3. HBase依靠（）存储底层数据 A A HDFS B Hadoop C Me
Hadoop--hbase---练习13
yyy
07-19 633
1书面作业1：举例子说明HBase相对简单 1.1  书面作业题目1 请举出一例子，使用关系型数据库较难进行数据建模，而采用HBase则相对简单 1.2  回答 HBase的应用场景 l  存储大量的数据（100s TB级数据） l  需要很高的写吞吐量 l  在大规模数据集中进行很好性能的随机访问（按列） l  需要进行优雅的数据扩展 l  结构化和半结构化的数据 l  不需
清华大学精品大数据实战课程（Hadoop、Hbase、Hive、Spark）全套PPT课件含习题 共7个章节.rar
01-16
清华大学精品大数据实战课程（Hadoop、Hbase、Hive、Spark）PPT课件含习题 第1章 大数据概述（13页）.pptx 清华大学精品大数据实战课程（Hadoop、Hbase、Hive、Spark）PPT课件含习题 第2章 Hadoop基础（32页）.pptx ...
清华大学精品大数据实战课程（Hadoop、Hbase、Hive、Spark）PPT课件含习题（32页） 第2章 Hadoop基础.pptx
05-23
【大数据与Hadoop基础】 大数据是指那些传统数据处理方式无法有效处理的大量、高速、多样化的信息资产。Hadoop作为大数据处理的核心框架，由Apache软件基金会开发，旨在提供分布式存储和计算能力，解决海量数据的...
清华大学精品大数据实战课程（Hadoop、Hbase、Hive、Spark）PPT课件含习题（30页） 第4章 数据仓库工具Hive.pptx
05-23
清华大学出品的大数据实战课程PPT学习课件，非常适合大学生和职场人士学习，也适合老鸟复习回顾，完全可用于自学入门，很经典好用的PPT课件哦~
清华大学精品大数据实战课程（Hadoop、Hbase、Hive、Spark）PPT课件含习题（13页） 第1章 大数据概述.ra
09-29
在本课程中，"清华大学精品大数据实战课程"深入探讨了大数据技术的核心概念，特别是围绕Hadoop、Hbase、Hive和Spark这四个关键组件。这一章的主题是“大数据概述”，让我们一起揭开大数据的神秘面纱。 大数据，...
清华大学精品大数据实战课程（Hadoop、Hbase、Hive、Spark）PPT课件含习题（59页） 第3章 Hadoop数据库HBase.pptx
05-23
5. **HBase Shell与模式设计** - **HBase Shell**是交互式的命令行工具，用于执行创建表、查询、修改等操作。 - **模式设计**是HBase应用的关键，应考虑数据访问模式、数据分布、列族设计以及索引优化，以实现...
Hbase练习3
灰哀之雪的博客
09-13 348
1、简述一下region的寻址流程 以 get 'tablename' 为例 1. 访问zookeeper获取meta表的位置 2. 访问meta表，在其中找到需要查询的表对应的region名称和位置信息 3. 通过获取的region名称和位置信息，直接访问region 2、简述一下region的存储机制 1. hbase的存储机制是以region这个逻辑存储单元为存储模型的，region是一张表或者是一张表的一部分。region的名字是有行范围标识的。 2. region中，表的数据被划分为不同的sto
hbase复习题、面试题
m0_46191714的博客
01-24 1648
1. HBASE架构 我们知道HBase依赖HDFS也依赖Zookeeper，那么首先出来的应该是HDFS，这是他底层的存储地，随便画几个DataNode无所谓，然后HBase还依赖Zookeeper，因此我们在启动HBase之前需要先启动它们。那接下轮到HBase启动了，HBase需要启动两大进程HMaster和HRegionServer，这个Master工作太累了，它需要把某些工作交给Zookeeper，后面在说具体都交给些什么任务。Master主要管理DDL相关的操作，操作表，操作命名空间，HReg
hbase 到 hbase 练习
qq_28059559的博客
01-10 296
 最近在学hbase 编码，想从hbase 到hbase 怎么编码。因此写了一个小的demo。 本练习是从wc 表到wc_out表。 个人理解，TableMapReduceUtil.initTableMapperJob应该是关联输入表和mapper （继承TableMapper）的 initTableReducerJob 是关联输出表和reducer（继承TableReducer）的。 ...
HBase练习-4
A_stranger的专栏
08-01 254
#alter hbase(main):038:0> create 't1','f1' 0 row(s) in 3.1330 seconds #增加列族f2 hbase(main):039:0> alter 't1',NAME=>'f2' #增加列族后的结果 hbase(main):040:0> describe 't1' ...
hbase练习（聊天记录查询）
wyqwilliam的博客
07-14 994
package com.sxt.hbase.Daemon; import java.io.IOException; import java.io.InterruptedIOException; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.hbase.Cell; import org.apache.had...
Hadoop第11周练习—HBase基础知识
weixin_33847182的博客
01-19 132
1 书面作业1：数据即日志... 3 1.1     书面作业1内容... 3 1.2     回答... 3 2 书面作业2：HBase合并过程... 3 2.1     书面作业2内容... 3 2.2     回答... 4 3 书面作业3：HBase一致性... 4 3.1     书面作业3内容... 4 3.2    回答... 4   1 书面作业1：数据即日志 ...
Hadoop第13周练习—HBase作业
weixin_34144848的博客
02-11 211
1    书面作业1：举例子说明HBase相对简单... 3 1.1     书面作业题目1. 3 1.2     回答... 3 2    书面作业2：设计HBase存储站内短信... 3 2.1     书面作业题目2. 3 2.2     回答... 3   1书面作业1：举例子说明HBase相对简单 1.1  书面作业题目1 请举出一例子，使用关系型数据库较难进行数据建模...
Hbase相关面试题
Sunshine
05-14 1220
他人真实面试问题HBase的架构和基本原理HBase与传统关系型数据库如MySQL的区别读写性能对比读快还是写快Hbase的设计有什么心得Hbase的操作是用的什么API还是什么工具你们hbase里面是存一些什么数据知道spark怎么读hbase吗做过hbase的二级索引吗Hbase的PUT的一个过程以下是我自己想的问题描述一下Region切分的过程Hbase读取数据的流程HBase的缺点优点已经...
HBase 3、HBase练习题
weixin_33904756的博客
03-07 759
1、建立学生和课程表 　　要求：学生可以选择多个课程，每个课程可以被多个学生选择。 　　　　　查询某个学生所选的所有课程列表 　　　　　查询某个课程，的学生列表 　　　　　学生可以修改所选的课程 　　方案：学生与课程之间是多对多关系，那可以建三张表 学生表、课程表、学生课程关系表 　　 　　查询某个学生所选的所有课程列表：通过学生ID到学生课程表中去匹配RowKey为student...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值