最新MySQL分区表、HBase 融合秘术_hbase 单表多表(1)，带着问题深入学习Spring

最新推荐文章于 2024-06-09 18:24:15 发布

2401_84557608

最新推荐文章于 2024-06-09 18:24:15 发布

阅读量562

点赞数 20

分类专栏：程序员文章标签： java 面试学习

本文链接：https://blog.csdn.net/2401_84557608/article/details/138834981

版权

程序员专栏收录该内容

121 篇文章 1 订阅

订阅专栏

最后

针对最近很多人都在面试，我这边也整理了相当多的面试专题资料，也有其他大厂的面经。希望可以帮助到大家。

最新整理面试题

上述的面试题答案都整理成文档笔记。也还整理了一些面试资料&最新2021收集的一些大厂的面试真题

最新整理电子书

在这里插入图片描述

最新整理大厂面试文档

在这里插入图片描述

以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持。

本文已被CODING开源项目：【一线大厂Java面试题解析+核心总结学习笔记+最新讲解视频+实战项目源码】收录

需要这份系统化的资料的朋友，可以点击这里获取

PARTITION p201604 VALUES IN (201604),
PARTITION p201605 VALUES IN (201605),
PARTITION p201606 VALUES IN (201606),
PARTITION p201607 VALUES IN (201607),
PARTITION p201608 VALUES IN (201608),
PARTITION p201609 VALUES IN (201609),
PARTITION p201610 VALUES IN (201610),
PARTITION p201611 VALUES IN (201611),
PARTITION p201612 VALUES IN (201612)
);

– 插入相关数据
INSERT INTO ord_order VALUES
(NULL, 10000001, 11111111, 1000, ‘2016-01-13 01:00:10’),
(NULL, 10000001, 11111112, 2000, ‘2016-01-13 02:00:20’),
(NULL, 10000001, 11111113, 3000, ‘2016-01-13 03:00:30’),
(NULL, 10000001, 11111114, 4000, ‘2016-01-13 04:00:40’),
(NULL, 10000001, 11111115, 5000, ‘2016-01-13 05:00:50’),
(NULL, 10000001, 11111111, 1000, ‘2016-02-13 01:00:10’),
(NULL, 10000001, 11111112, 2000, ‘2016-02-13 02:00:20’),
(NULL, 10000001, 11111113, 3000, ‘2016-02-13 03:00:30’),
(NULL, 10000001, 11111114, 4000, ‘2016-02-13 04:00:40’),
(NULL, 10000001, 11111115, 5000, ‘2016-02-13 05:00:50’),
(NULL, 10000001, 11111111, 1000, ‘2016-03-13 01:00:10’),
(NULL, 10000001, 11111112, 2000, ‘2016-03-13 02:00:20’),
(NULL, 10000001, 11111113, 3000, ‘2016-03-13 03:00:30’),
(NULL, 10000001, 11111114, 4000, ‘2016-03-13 04:00:40’),
(NULL, 10000001, 11111115, 5000, ‘2016-03-13 05:00:50’),
(NULL, 10000001, 11111111, 1000, ‘2016-04-13 01:00:10’),
(NULL, 10000001, 11111112, 2000, ‘2016-04-13 02:00:20’),
(NULL, 10000001, 11111113, 3000, ‘2016-04-13 03:00:30’),
(NULL, 10000001, 11111114, 4000, ‘2016-04-13 04:00:40’),
(NULL, 10000001, 11111115, 5000, ‘2016-04-13 05:00:50’),
(NULL, 10000001, 11111111, 1000, ‘2016-05-13 01:00:10’),
(NULL, 10000001, 11111112, 2000, ‘2016-05-13 02:00:20’),
(NULL, 10000001, 11111113, 3000, ‘2016-05-13 03:00:30’),
(NULL, 10000001, 11111114, 4000, ‘2016-05-13 04:00:40’),
(NULL, 10000001, 11111115, 5000, ‘2016-05-13 05:00:50’),
(NULL, 10000001, 11111111, 1000, ‘2016-06-13 01:00:10’),
(NULL, 10000001, 11111112, 2000, ‘2016-06-13 02:00:20’),
(NULL, 10000001, 11111113, 3000, ‘2016-06-13 03:00:30’),
(NULL, 10000001, 11111114, 4000, ‘2016-06-13 04:00:40’),
(NULL, 10000001, 11111115, 5000, ‘2016-06-13 05:00:50’),
(NULL, 10000001, 11111111, 1000, ‘2016-07-13 01:00:10’),
(NULL, 10000001, 11111112, 2000, ‘2016-07-13 02:00:20’),
(NULL, 10000001, 11111113, 3000, ‘2016-07-13 03:00:30’),
(NULL, 10000001, 11111114, 4000, ‘2016-07-13 04:00:40’),
(NULL, 10000001, 11111115, 5000, ‘2016-07-13 05:00:50’),
(NULL, 10000001, 11111111, 1000, ‘2016-08-13 01:00:10’),
(NULL, 10000001, 11111112, 2000, ‘2016-08-13 02:00:20’),
(NULL, 10000001, 11111113, 3000, ‘2016-08-13 03:00:30’),
(NULL, 10000001, 11111114, 4000, ‘2016-08-13 04:00:40’),
(NULL, 10000001, 11111115, 5000, ‘2016-08-13 05:00:50’),
(NULL, 10000001, 11111111, 1000, ‘2016-09-13 01:00:10’),
(NULL, 10000001, 11111112, 2000, ‘2016-09-13 02:00:20’),
(NULL, 10000001, 11111113, 3000, ‘2016-09-13 03:00:30’),
(NULL, 10000001, 11111114, 4000, ‘2016-09-13 04:00:40’),
(NULL, 10000001, 11111115, 5000, ‘2016-09-13 05:00:50’),
(NULL, 10000001, 11111111, 1000, ‘2016-10-13 01:00:10’),
(NULL, 10000001, 11111112, 2000, ‘2016-10-13 02:00:20’),
(NULL, 10000001, 11111113, 3000, ‘2016-10-13 03:00:30’),
(NULL, 10000001, 11111114, 4000, ‘2016-10-13 04:00:40’),
(NULL, 10000001, 11111115, 5000, ‘2016-10-13 05:00:50’),
(NULL, 10000001, 11111111, 1000, ‘2016-11-13 01:00:10’),
(NULL, 10000001, 11111112, 2000, ‘2016-11-13 02:00:20’),
(NULL, 10000001, 11111113, 3000, ‘2016-11-13 03:00:30’),
(NULL, 10000001, 11111114, 4000, ‘2016-11-13 04:00:40’),
(NULL, 10000001, 11111115, 5000, ‘2016-11-13 05:00:50’),
(NULL, 10000001, 11111111, 1000, ‘2016-12-13 01:00:10’),
(NULL, 10000001, 11111112, 2000, ‘2016-12-13 02:00:20’),
(NULL, 10000001, 11111113, 3000, ‘2016-12-13 03:00:30’),
(NULL, 10000001, 11111114, 4000, ‘2016-12-13 04:00:40’),
(NULL, 10000001, 11111115, 5000, ‘2016-12-13 05:00:50’);

– 查看分区p201601数据
SELECT * FROM ord_order PARTITION(p201601);

– 组合成的 row key
SELECT CONCAT(user_id, 10000000000-UNIX_TIMESTAMP(create_time), goods_id)
FROM ord_order PARTITION(p201601);



结合HBase咯

 创建HBase表 ord\_order


 由于版本兼容的问题，这边我需要先创建好HBase对应的表。不然会报不能自动创建 column family 的错误。


 使用 hbase shell 创建 ord\_order 表

hbase(main):033:0> create ‘ord_order’, {NAME => ‘cf1’}


 使用 Sqoop 将MySQL的ord\_order 表的 p201601 分区的数据导入HBase表。

/usr/local/sqoop/bin/sqoop import
–connect jdbc:mysql://192.168.137.11:3306/test
–username HH
–password oracle
–query ‘SELECT CONCAT(user_id, 10000000000-UNIX_TIMESTAMP(create_time), goods_id) AS order_id, order_price, create_time FROM ord_order PARTITION(p201601) WHERE $CONDITIONS’
–hbase-table ord_order
–hbase-create-table
–hbase-row-key order_id
–split-by order_id
–column-family cf1
-m 1


 导入成功后就可以在MySQL上面将相关分区删除，并且创建之后需要的分区

ALTER TABLE ord_order
ADD PARTITION (PARTITION p201701 VALUES IN (201701));

ALTER TABLE ord_order DROP PARTITION p201601;


 查看Hbase中导入的数据

hbase(main):001:0> scan ‘ord_order’
ROW COLUMN+CELL
10000001854736755011111115 column=cf1:create_time, timestamp=1479224942888, value=2016-01-13 05:00:50.0
10000001854736755011111115 column=cf1:order_price, timestamp=1479224942888, value=5000
10000001854737116011111114 column=cf1:create_time, timestamp=1479224942888, value=2016-01-13 04:00:40.0
10000001854737116011111114 column=cf1:order_price, timestamp=1479224942888, value=4000
10000001854737477011111113 column=cf1:create_time, timestamp=1479224942888, value=2016-01-13 03:00:30.0
10000001854737477011111113 column=cf1:order_price, timestamp=1479224942888, value=3000
10000001854737838011111112 column=cf1:create_time, timestamp=1479224942888, value=2016-01-13 02:00:20.0
10000001854737838011111112 column=cf1:order_price, timestamp=1479224942888, value=2000
10000001854738199011111111 column=cf1:create_time, timestamp=1479224942888, value=2016-01-13 01:00:10.0
10000001854738199011111111 column=cf1:order_price, timestamp=1479224942888, value=1000
5 row(s) in 0.5390 seconds



ROW KEY 设计详解

 HBase中的row key为 user\_id, 10000000000-UNIX\_TIMESTAMP(create\_time), goods\_id 3个字段组成。


 这边值得注意的是 10000000000-UNIX\_TIMESTAMP(create\_time), 这样设计的原因是为了让订单能按时间的倒序排列, 这样就符合 越新的数据越先显示


 如: 现在需要对用户 10000001 的订单进行分页, 每页两条数据, 并且按时间的倒序排序(最新订单最先显示)



## 总结

互联网大厂比较喜欢的人才特点：对技术有热情，强硬的技术基础实力；主动，善于团队协作，善于总结思考。无论是哪家公司，都很重视高并发高可用技术，重视基础，所以千万别小看任何知识。面试是一个双向选择的过程，不要抱着畏惧的心态去面试，不利于自己的发挥。同时看中的应该不止薪资，还要看你是不是真的喜欢这家公司，是不是能真的得到锻炼。其实我写了这么多，只是我自己的总结，并不一定适用于所有人，相信经过一些面试，大家都会有这些感触。

**另外本人还整理收藏了2021年多家公司面试知识点以及各种技术点整理 **

**下面有部分截图希望能对大家有所帮助。**

![在这里插入图片描述](https://img-blog.csdnimg.cn/img_convert/f461ddda188c3fe9ad4a7d49037a7c9d.webp?x-oss-process=image/format,png)

> **本文已被[CODING开源项目：【一线大厂Java面试题解析+核心总结学习笔记+最新讲解视频+实战项目源码】](https://bbs.csdn.net/forums/4f45ff00ff254613a03fab5e56a57acb)收录**

**[需要这份系统化的资料的朋友，可以点击这里获取](https://bbs.csdn.net/forums/4f45ff00ff254613a03fab5e56a57acb)**

线大厂Java面试题解析+核心总结学习笔记+最新讲解视频+实战项目源码】](https://bbs.csdn.net/forums/4f45ff00ff254613a03fab5e56a57acb)收录**

**[需要这份系统化的资料的朋友，可以点击这里获取](https://bbs.csdn.net/forums/4f45ff00ff254613a03fab5e56a57acb)**

2401_84557608

关注

20
点赞
踩
14

收藏

觉得还不错? 一键收藏
0
评论
最新MySQL分区表、HBase 融合秘术_hbase 单表多表(1)，带着问题深入学习Spring

针对最近很多人都在面试，我这边也整理了相当多的面试专题资料，也有其他大厂的面经。希望可以帮助到大家。最新整理面试题上述的面试题答案都整理成文档笔记。也还整理了一些面试资料&最新2021收集的一些大厂的面试真题最新整理电子书最新整理大厂面试文档以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持。本文已被CODING开源项目：【一线大厂Java面试题解析+核心总结学习笔记+最新讲解视频+实战项目源码】收录需要这份系统化的资料的朋友，可以点击这里获取。
复制链接

扫一扫