MySQL分区表、HBase 融合秘术_hbase 单表 多表，java面试linux面试题

于 2024-04-21 03:25:47 发布
阅读量605 收藏 16
点赞数 11
分类专栏： 2024年程序员学习 文章标签： mysql hbase java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2401_84434975/article/details/138018853
版权

先自我介绍一下，小编浙江大学毕业，去过华为、字节跳动等大厂，目前阿里P7

深知大多数程序员，想要提升技能，往往是自己摸索成长，但自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年最新Java开发全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友。
img
img
img
img
img
img

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上Java开发知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

如果你需要这些资料，可以添加V获取：vip1024b （备注Java）
img

正文

(NULL, 10000001, 11111114, 4000, ‘2016-05-13 04:00:40’),
(NULL, 10000001, 11111115, 5000, ‘2016-05-13 05:00:50’),
(NULL, 10000001, 11111111, 1000, ‘2016-06-13 01:00:10’),
(NULL, 10000001, 11111112, 2000, ‘2016-06-13 02:00:20’),
(NULL, 10000001, 11111113, 3000, ‘2016-06-13 03:00:30’),
(NULL, 10000001, 11111114, 4000, ‘2016-06-13 04:00:40’),
(NULL, 10000001, 11111115, 5000, ‘2016-06-13 05:00:50’),
(NULL, 10000001, 11111111, 1000, ‘2016-07-13 01:00:10’),
(NULL, 10000001, 11111112, 2000, ‘2016-07-13 02:00:20’),
(NULL, 10000001, 11111113, 3000, ‘2016-07-13 03:00:30’),
(NULL, 10000001, 11111114, 4000, ‘2016-07-13 04:00:40’),
(NULL, 10000001, 11111115, 5000, ‘2016-07-13 05:00:50’),
(NULL, 10000001, 11111111, 1000, ‘2016-08-13 01:00:10’),
(NULL, 10000001, 11111112, 2000, ‘2016-08-13 02:00:20’),
(NULL, 10000001, 11111113, 3000, ‘2016-08-13 03:00:30’),
(NULL, 10000001, 11111114, 4000, ‘2016-08-13 04:00:40’),
(NULL, 10000001, 11111115, 5000, ‘2016-08-13 05:00:50’),
(NULL, 10000001, 11111111, 1000, ‘2016-09-13 01:00:10’),
(NULL, 10000001, 11111112, 2000, ‘2016-09-13 02:00:20’),
(NULL, 10000001, 11111113, 3000, ‘2016-09-13 03:00:30’),
(NULL, 10000001, 11111114, 4000, ‘2016-09-13 04:00:40’),
(NULL, 10000001, 11111115, 5000, ‘2016-09-13 05:00:50’),
(NULL, 10000001, 11111111, 1000, ‘2016-10-13 01:00:10’),
(NULL, 10000001, 11111112, 2000, ‘2016-10-13 02:00:20’),
(NULL, 10000001, 11111113, 3000, ‘2016-10-13 03:00:30’),
(NULL, 10000001, 11111114, 4000, ‘2016-10-13 04:00:40’),
(NULL, 10000001, 11111115, 5000, ‘2016-10-13 05:00:50’),
(NULL, 10000001, 11111111, 1000, ‘2016-11-13 01:00:10’),
(NULL, 10000001, 11111112, 2000, ‘2016-11-13 02:00:20’),
(NULL, 10000001, 11111113, 3000, ‘2016-11-13 03:00:30’),
(NULL, 10000001, 11111114, 4000, ‘2016-11-13 04:00:40’),
(NULL, 10000001, 11111115, 5000, ‘2016-11-13 05:00:50’),
(NULL, 10000001, 11111111, 1000, ‘2016-12-13 01:00:10’),
(NULL, 10000001, 11111112, 2000, ‘2016-12-13 02:00:20’),
(NULL, 10000001, 11111113, 3000, ‘2016-12-13 03:00:30’),
(NULL, 10000001, 11111114, 4000, ‘2016-12-13 04:00:40’),
(NULL, 10000001, 11111115, 5000, ‘2016-12-13 05:00:50’);

– 查看分区p201601数据
SELECT * FROM ord_order PARTITION(p201601);

– 组合成的 row key
SELECT CONCAT(user_id, 10000000000-UNIX_TIMESTAMP(create_time), goods_id)
FROM ord_order PARTITION(p201601);

结合HBase咯

创建HBase表 ord_order

由于版本兼容的问题，这边我需要先创建好HBase对应的表。不然会报不能自动创建 column family 的错误。

使用 hbase shell 创建 ord_order 表

hbase(main):033:0> create ‘ord_order’, {NAME => ‘cf1’}

使用 Sqoop 将MySQL的ord_order 表的 p201601 分区的数据导入HBase表。

/usr/local/sqoop/bin/sqoop import
–connect jdbc:mysql://192.168.137.11:3306/test 
–username HH
–password oracle
–query ‘SELECT CONCAT(user_id, 10000000000-UNIX_TIMESTAMP(create_time), goods_id) AS order_id, order_price, create_time FROM ord_order PARTITION(p201601) WHERE $CONDITIONS’
–hbase-table ord_order
–hbase-create-table
–hbase-row-key order_id
–split-by order_id
–column-family cf1
-m 1

导入成功后就可以在MySQL上面将相关分区删除，并且创建之后需要的分区

ALTER TABLE ord_order
ADD PARTITION (PARTITION p201701 VALUES IN (201701));

ALTER TABLE ord_order DROP PARTITION p201601;

查看Hbase中导入的数据

hbase(main):001:0> scan ‘ord_order’
ROW COLUMN+CELL
10000001854736755011111115 column=cf1:create_time, timestamp=1479224942888, value=2016-01-13 05:00:50.0
10000001854736755011111115 column=cf1:order_price, timestamp=1479224942888, value=5000
10000001854737116011111114 column=cf1:create_time, timestamp=1479224942888, value=2016-01-13 04:00:40.0
10000001854737116011111114 column=cf1:order_price, timestamp=1479224942888, value=4000
10000001854737477011111113 column=cf1:create_time, timestamp=1479224942888, value=2016-01-13 03:00:30.0
10000001854737477011111113 column=cf1:order_price, timestamp=1479224942888, value=3000
10000001854737838011111112 column=cf1:create_time, timestamp=1479224942888, value=2016-01-13 02:00:20.0
10000001854737838011111112 column=cf1:order_price, timestamp=1479224942888, value=2000
10000001854738199011111111 column=cf1:create_time, timestamp=1479224942888, value=2016-01-13 01:00:10.0
10000001854738199011111111 column=cf1:order_price, timestamp=1479224942888, value=1000
5 row(s) in 0.5390 seconds

ROW KEY 设计详解

HBase中的row key为 user_id, 10000000000-UNIX_TIMESTAMP(create_time), goods_id 3个字段组成。

这边值得注意的是 10000000000-UNIX_TIMESTAMP(create_time), 这样设计的原因是为了让订单能按时间的倒序排列, 这样就符合 越新的数据越先显示

如: 现在需要对用户 10000001 的订单进行分页, 每页两条数据, 并且按时间的倒序排序(最新订单最先显示)

hbase(main):003:0> scan ‘ord_order’, {COLUMNS=>[‘cf1:order_price’], ROWPREFIXFILTER=>‘10000001’, LIMIT=>2}
ROW COLUMN+CELL
10000001854736755011111115 column=cf1:order_price, timestamp=1479224942888, value=5000
10000001854737116011111114 column=cf1:order_price, timestamp=1479224942888, value=4000

点击下一页的数据:

hbase(main):004:0> scan ‘ord_order’, {COLUMNS=>[‘cf1:order_price’], LIMIT=>3, STARTROW=>‘10000001854737116011111114’}
ROW COLUMN+CELL
10000001854737116011111114 column=cf1:order_price, timestamp=1479224942888, value=4000
10000001854737477011111113 column=cf1:order_price, timestamp=1479224942888, value=3000
10000001854737838011111112 column=cf1:order_price, timestamp=1479224942888, value=2000
3 row(s) in 0.0260 seconds
上面获得了三行数据，在实际展现的时候去除第一行就好了，实际展示如下:
10000001854737477011111113 column=cf1:order_price, timestamp=1479224942888, value=3000
10000001854737838011111112 column=cf1:order_price, timestamp=1479224942888, value=2000

点击上一页

hbase(main):008:0> scan ‘ord_order’, {COLUMNS=>[‘cf1:order_price’], LIMIT=>3, STARTROW=>‘10000001854737477011111113’, REVERSED=>true}
ROW COLUMN+CELL
10000001854737477011111113 column=cf1:order_price, timestamp=1479224942888, value=3000
10000001854737116011111114 column=cf1:order_price, timestamp=1479224942888, value=4000
10000001854736755011111115 column=cf1:order_price, timestamp=1479224942888, value=5000
3 row(s) in 0.0640 seconds

总结

以上是字节二面的一些问题，面完之后其实挺后悔的，没有提前把各个知识点都复习到位。现在重新好好复习手上的面试大全资料（含JAVA、MySQL、算法、Redis、JVM、架构、中间件、RabbitMQ、设计模式、Spring等），现在起闭关修炼半个月，争取早日上岸！！！

下面给大家分享下我的面试大全资料

  • 第一份是我的后端JAVA面试大全

image.png

后端JAVA面试大全

  • 第二份是MySQL+Redis学习笔记+算法+JVM+JAVA核心知识整理

字节二面拜倒在“数据库”脚下，闭关修炼半个月，我还有机会吗？

MySQL+Redis学习笔记算法+JVM+JAVA核心知识整理

  • 第三份是Spring全家桶资料

字节二面拜倒在“数据库”脚下，闭关修炼半个月，我还有机会吗？

MySQL+Redis学习笔记算法+JVM+JAVA核心知识整理

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化的资料的朋友，可以添加V获取：vip1024b （备注Java）
img

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

，那么很难做到真正的技术提升。**

需要这份系统化的资料的朋友，可以添加V获取：vip1024b （备注Java）
[外链图片转存中…(img-fbI75Er8-1713641129416)]

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

2401_84434975
关注
  • 11
    点赞
  • 踩
  • 16
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Jenkins从环境配置到项目开发视频教程
05-09
章节一：持续集成及Jenkins概述 1. 了解瀑布模型与敏捷开发 2. 了解持续集成的组成 3. 了解Jenkins概述 章节二：Jenkins安装和环境配置 1. Gitlab搭建和配置 2. Jenkins安装和插件安装 3. Jenkins权限管理 4. Jenkins凭证管理 5. Jenkins+Maven配置 章节三：Jenkins+Web项目持续集成 1. Jenkins创建流水线项目 2. Jenkins流水线脚本语法 3. 常用的Jenkins构建触发器 4. Jenkins整合SonarQube代码审查 5. Jenkins整合Email完成构建结果发布 章节四：Jenkins+Docker+SpringCloud微服务项目持续集成 1. Docker基础 2. Dockerfile脚本构建Docker镜像 3. Docker私有仓库Harbor安装和使用 4. Jenkins集群部署SpringCloud微服务 章节五：Jenkins+Kubernetes+SpringCloud微服务项目持续集成 分布式主从架构 与Kubernetes整合 完成微服务项目分布式
10 万字节Spring Boot +redis详细面试笔记(带完整目录)全新开源
最新发布
2401_84102400的博客
04-13 177
本文从基础到高级再到实战，由浅入深，把MySQL讲的清清楚楚，明明白白，这应该是我目前为止看到过最好的有关MySQL的学习笔记了，我相信如果你把这份笔记认真看完后，无论是工作中碰到的问题还是被面试官问到的问题都能迎刃而解！MySQL50道高频面试题整理：网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。需要这份系统化的资料的朋友，可以添加V获取：vip1024b （备注Java）一个人可以走的很快，但一群人才能走的更远！
23种设计模式之访问者模式（Visitor Pattern）
热门推荐
小威的博客
06-02 1万+
本篇文章将23种设计模式中的访问者模式，此篇文章为一天学习一个设计模式系列文章，后面会分享其他模式知识。
设计模式之访问者模式
红衣女妖仙的博客
12-22 2187
访问者模式，即在不改变聚合对象内元素的前提下，为聚合对象内每个元素提供多种访问方式，即聚合对象内的每个元素都有多个访问者对象。访问者模式主要解决稳定的数据结构和易变元素的操作之间的耦合问题。变量被声明时的类型叫做变量的静态类型，又称为明显类型；而变量所引用的对象的真实类型叫做变量的实际类型。如 Map map = new HashMap()，map 变量的静态类型是 Map，实际类型是 HashMap。根据对象的类型对方法进行选择，就是分派，即 Dispatch，分派又分
微信小程序button组件怎么使用？
贼厉害
02-06 3430
其实学过前端的小伙伴们都知道button标签是什么。
java代码将mysql表数据导入HBase表
03-14
java代码将mysql表数据导入HBase表 + 样例mysql表和数据 + HBase表创建
Hbase面试练手题经典常见的面试题
01-03
Hbase面试练手题经典常见的面试题 在社交网站，社交APP上会存储有大量的用户数据以及用户之间的关系数据，比如A用户的好友列表会 展示出他所有的好友，现有一张Hbase表，存储就是当前注册用户的好友关系数据，如下 ...
java 大数据 spark flink redis hive hbase kafka 面试题 数据结构 算法 设计模式.zip
12-31
Java前后开发面试题，大厂进阶之路，基于JavaGuide、Cyc大佬、牛客上的面经及王道考研相关视频，并改进了其中说法矛盾或含糊之处。 包含计算机网络知识、JavaSE、JVM、Spring、Springboot、SpringCloud、Mybatis、多...
java mysql spring springboot springcloud等等 面试题
12-31
Java前后开发面试题，大厂进阶之路，基于JavaGuide、Cyc大佬、牛客上的面经及王道考研相关视频，并改进了其中说法矛盾或含糊之处。 包含计算机网络知识、JavaSE、JVM、Spring、Springboot、SpringCloud、Mybatis、多...
2022java面试题、JVM面试题、多线程面试题、并发编程
12-31
Java前后开发面试题，大厂进阶之路，基于JavaGuide、Cyc大佬、牛客上的面经及王道考研相关视频，并改进了其中说法矛盾或含糊之处。 包含计算机网络知识、JavaSE、JVM、Spring、Springboot、SpringCloud、Mybatis、多...
设计模式行为型——访问者模式
tszc95的博客
08-09 1743
访问者模式（Visitor Pattern）属于行为型设计模式，它允许在不修改现有对象结构的前提下，定义对这些对象执行操作的新操作。访问者模式将数据结构和操作分离，使得操作可以独立变化。访问者模式基本思想是，针对系统中拥有固定类型数的对象结构（元素），在其内提供一个 accept()方法来接受访问者对象的访问。不同的访问者对同一个元素的访问内容是不同，使得相同的元素集合可以产生不同的数据结果。
访问者模式介绍
qq_25409421的博客
01-19 1459
访问者模式允许在运行时将一个或多个操作应用于一组对象，将操作与对象结构分离。该模式主要解决的是数据与算法的耦合问题，尤其是在数据结构比较稳定，而算法多变的情况下。为了不污染数据本身，访问者会将多种算法独立归档，并在访问数据时根据数据类型自动切换到对应的算法，实现数据的自动响应机制，并确保算法的自由扩展。今天我们就来介绍下访问者模式。
jenkins下配置maven
魔法盒子
02-14 1万+
Jenkins配置maven
详解设计模式：访问者模式
栗筝i的博客
12-06 3931
访问者模式（Visitor Pattern），是在 GoF 23 种设计模式中定义了的行为型模式。据《大话设计模式》中说算是最复杂也是最难以理解的一种模式了。 访问者模式 是一种将数据操作与数据结构分离的设计模式，它可以算是 23 中设计模式中最复杂的一个，但它的使用频率并不是很高，大多数情况下，你并不需要使用访问者模式，但是当你一旦需要使用它时，那你就是需要使用它了。 本篇文章内容包括：关于访问者模式、访问者模式 Demo
访问者模式
Filwaod
12-20 1555
在具体的元素对象中实现accept方法的时候，会回调访问者的visit方法，等于请求被第二次分发了，请求被分发给访问者来进行处理，真正实现功能的正是访问者的 visit方法。仔细思考访问者模式，它的实现主要是通过预先定义好调用的通路，在被访问的对象上定义accept方法，在访问者的对象上定义 visit方法;不适用于对象结构中的类经常变化的情况，因为对象结构发生了改变，访问者的接口和访问者的实现都要发生相应的改变，代价太高。能够在不修改对象结构中的元素的情况下,为对象结构中的元素添加新的功能。
行为型设计模式11-访问者模式
十二间记，知不足而奋斗，望远山而前行。千里不辞行路远，时光早晚到天涯。
06-24 481
一天一个设计模式，今天学习访问者模式：访问者模式（Visitor Pattern）是一种行为型设计模式，它允许你在不修改现有对象结构的情况下定义一些新操作。通过将操作封装在一个访问者对象中，可以让你在不改变被访问对象的类的前提下，定义对该对象的新操作。
【设计模式】访问者模式
小鼠标的博客
04-09 4207
设计模式总结链接 访问者模式是对象的行为模式。访问者模式的目的是封装一些施加于某种数据结构元素之上的操作。一旦这些操作需要修改的话，接受这个操作的数据结构则可以保持不变。一。简解访问者模式是和向上转型原则恰巧相反， 向上转型指的是，子类可以无条件转型为父类（或者实现的接口）。 访问者模式是，知道父类，子类的实现变了依然可以调用。 二。用途面向接口编程中就有访问者模式的身影，通过统一接口可以
设计模式之观察者模式与访问者模式详解和应用
赵广陆
02-19 939
目录 1.访问者模式详解 1.1 访问者模式的定义 1.1.1 访问者模式在生活中的体现 1.1.2 访问者模式的适用场景 1.2 访问者模式的通用实现 1.3 访问者模式的使用案例之KPI考核 1.3.1 类图设计 1.3.2 代码实现 1.4 访问者模式扩展---分派 1.4.1 java中静态分派示例代码 1.4.2 java中动态分派 1.4.3 访问者模式中伪动态双分派 1.5 访问者模式在源码中应用 1.5.1 jdk中FileVisitor
hbase java 建表_Java在HBase数据库创建表
06-01
好的，关于在HBase数据库中使用Java创建表的方法如下： 首先，需要导入HBase的Java API相关的包： ```java import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.hbase.HBaseConfiguration; ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值