- 博客(11)
- 收藏
- 关注
RSS订阅原创 sql分页查询
1.执行带有OFFSET的分页查询时，OFFSET关键字告诉数据库跳过前面的多少条记录。例如，要查询users表中的第二页数据，并且每页显示10条记录。表示从users表中选取10条记录，但跳过前面的10条记录。
2024-07-15 10:32:37
118
原创 kafka中的稀疏索引
生产者生产的数据会不断追加到 log 文件中，如果 log 文件很大了，就会导致定位数据变慢，因此 kafka 会将大的 log 文件分为多个 segment，每个 segment 会对应.log 文件和.index 文件和.timeindex 文件，.log 存储数据，.index 存储偏移量索引信息，.timeindex 存储时间戳索引信息。当消费者需要读取特定偏移量的消息时，它首先使用这个稀疏索引来确定消息所在的数据文件的大致位置，然后再从这个位置开始顺序读取，直到找到所需的消息。
2024-07-12 10:12:33
214
原创 sql面试题（连续登录相关）
这个day_con代表了每个用户连续登录的天数（尽管在t3的分组中实际上计算的是总的登录天数）。计算日期差异：通过DATE_SUB()函数计算当前登录日期与前一登录日期的差异，如果这个差异为1，则认为这两个登录记录是连续的。使用ROW_NUMBER()函数为每个用户的登录记录分配一个序列号，序列号的分配依据是登录日期的先后顺序。计算相邻登录记录之间的日期差异，如果这个差异为1，则表明这两个登录记录是连续的。筛选连续登录记录：根据日期差异的结果，筛选出连续登录的用户记录。2.连续登录最大天数用户。
2024-07-11 17:06:39
783
原创 sql相关
计算日期差异：通过DATE_SUB()函数计算当前登录日期与前一登录日期的差异，如果这个差异为1，则认为这两个登录记录是连续的。对于频繁的重复查询，可以考虑使用缓存来减少数据库的负载，如使用内存缓存（如Redis）或者数据库缓存（如MySQL的查询缓存）。数据去重：由于同一用户可能在同一天内有多次登录记录，因此首先需要对登录记录进行去重处理，只保留每个用户每天的一条记录。使用ROW_NUMBER()函数为每个用户的登录记录分配一个序列号，序列号的分配依据是登录日期的先后顺序。sql的优化:加索引；
2024-06-11 00:15:40
758
原创 数据仓库分层
问题①：数据分层，ods,dws,dwd,ads每层的作用，分层的好处。问题②：数据仓库建模方法，维度建模分几种，各自的结构和特点。问题③结合自己工作谈一下数据分层和数据建模。
2024-06-10 23:34:24
190
原创 set和list
Set是无序的集合，它不支持通过索引来访问元素，可以判断某个元素是否在集合中，检查元素element是否存在于Set中，使用set.contains(element)。给定一系列字符串，从集合的set和list中查询，如何查询出相关的数据，同时set和list有什么区别?set表示无序，不可重复的集合（哈希表实现）；list（动态数组实现）是有序，可重复的集合。获取第二个元素，可以使用list.get(1)取数。
2024-06-10 23:05:46
108
原创 flume问答
为了解决这个问题，可以采取一些措施，如增加Flume Agent的数量，使用可靠的文件通道（File Channel）代替内存通道（Memory Channel），或者实施集群部署以提高系统的稳定性和可靠性1。Flume采集日志是通过流的方式直接将日志收集到存储层，而Kafka则是将日志缓存在Kafka集群中，之后再进行采集。如果Flume采集过程中断，可以通过文件记录之前的日志，而Kafka则是通过偏移量（offset）记录之前的日志1。相比之下，Flume的方式更为灵活，便于快速切换和维护1。
2024-06-09 18:01:41
691
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人