- 博客(11)
- 收藏
- 关注
原创 sql分页查询
1.执行带有OFFSET的分页查询时,OFFSET关键字告诉数据库跳过前面的多少条记录。例如,要查询users表中的第二页数据,并且每页显示10条记录。表示从users表中选取10条记录,但跳过前面的10条记录。
2024-07-15 10:32:37
118
原创 kafka中的稀疏索引
生产者生产的数据会不断追加到 log 文件中,如果 log 文件很大了,就会导致定位数据变慢,因此 kafka 会将大的 log 文件分为多个 segment,每个 segment 会对应.log 文件和.index 文件和.timeindex 文件,.log 存储数据,.index 存储偏移量索引信息,.timeindex 存储时间戳索引信息。当消费者需要读取特定偏移量的消息时,它首先使用这个稀疏索引来确定消息所在的数据文件的大致位置,然后再从这个位置开始顺序读取,直到找到所需的消息。
2024-07-12 10:12:33
214
原创 sql面试题(连续登录相关)
这个day_con代表了每个用户连续登录的天数(尽管在t3的分组中实际上计算的是总的登录天数)。计算日期差异:通过DATE_SUB()函数计算当前登录日期与前一登录日期的差异,如果这个差异为1,则认为这两个登录记录是连续的。使用ROW_NUMBER()函数为每个用户的登录记录分配一个序列号,序列号的分配依据是登录日期的先后顺序。计算相邻登录记录之间的日期差异,如果这个差异为1,则表明这两个登录记录是连续的。筛选连续登录记录:根据日期差异的结果,筛选出连续登录的用户记录。2.连续登录最大天数用户。
2024-07-11 17:06:39
783
原创 sql相关
计算日期差异:通过DATE_SUB()函数计算当前登录日期与前一登录日期的差异,如果这个差异为1,则认为这两个登录记录是连续的。对于频繁的重复查询,可以考虑使用缓存来减少数据库的负载,如使用内存缓存(如Redis)或者数据库缓存(如MySQL的查询缓存)。数据去重:由于同一用户可能在同一天内有多次登录记录,因此首先需要对登录记录进行去重处理,只保留每个用户每天的一条记录。使用ROW_NUMBER()函数为每个用户的登录记录分配一个序列号,序列号的分配依据是登录日期的先后顺序。sql的优化:加索引;
2024-06-11 00:15:40
758
原创 数据仓库分层
问题①:数据分层,ods,dws,dwd,ads每层的作用,分层的好处。问题②:数据仓库建模方法,维度建模分几种,各自的结构和特点。问题③结合自己工作谈一下数据分层和数据建模。
2024-06-10 23:34:24
190
原创 set和list
Set是无序的集合,它不支持通过索引来访问元素,可以判断某个元素是否在集合中,检查元素element是否存在于Set中,使用set.contains(element)。给定一系列字符串,从集合的set和list中查询,如何查询出相关的数据,同时set和list有什么区别?set表示无序,不可重复的集合(哈希表实现);list(动态数组实现)是有序,可重复的集合。获取第二个元素,可以使用list.get(1)取数。
2024-06-10 23:05:46
108
原创 flume问答
为了解决这个问题,可以采取一些措施,如增加Flume Agent的数量,使用可靠的文件通道(File Channel)代替内存通道(Memory Channel),或者实施集群部署以提高系统的稳定性和可靠性1。Flume采集日志是通过流的方式直接将日志收集到存储层,而Kafka则是将日志缓存在Kafka集群中,之后再进行采集。如果Flume采集过程中断,可以通过文件记录之前的日志,而Kafka则是通过偏移量(offset)记录之前的日志1。相比之下,Flume的方式更为灵活,便于快速切换和维护1。
2024-06-09 18:01:41
691
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人