有1000亿条记录，每条记录由url,ip,时间组成，设计一个系统能够快速查询以下内容（程序设计题）

最新推荐文章于 2024-07-04 10:29:26 发布
最新推荐文章于 2024-07-04 10:29:26 发布
阅读量3.5k 收藏 2
点赞数
分类专栏： 牛客网选择题总结
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/chengonghao/article/details/51920874
版权
该博客讨论了如何应对包含1000亿条url,ip和时间记录的大型数据集，提出了设计一个能够高效执行查询的系统的方法。内容包括问题阐述及可能的解决方案。" 137000817,22597875,Android自定义meta-data获取与应用解析,"['Android开发', 'metadata', '应用配置', '编程实践']
摘要由CSDN通过智能技术生成

有1000亿条记录，每条记录由url,ip,时间组成，设计一个系统能够快速查询以下内容
1.给定url和时间段（精确到分钟）统计url的访问次数
2.给定ip和时间段（精确到分钟）统计ip的访问次数
最低0.47元/天 解锁文章
chengonghao
关注
专栏目录
高性能零售IT系统的建设05-从0打造一个每秒万级并发的互联网交易系统的技术全架构
lifetragedy的专栏
10-13 3125
亿万级的流量、每秒万级的并发的大型零售商超金融类应用如何设计与架构？如何面对汹涌的流量？本篇以全景式架构设计展示并结合一个个生产实例带你一步步深入了解如何应对大规模的高并发高流量的业务场景系统架构之美。
基于STM32设计的实验室智能门禁系统(华为云IOT)(198)
最新发布
08-01 344
设计了一款基于STM32微控制器为核心的智能门禁系统。该系统集成了RFID射频卡刷卡开门、环境温湿度检测、火焰检测、烟雾检测等多种功能，并通过ESP8266-WIFI模块将数据实时上传至华为云IOT服务器，实现云端存储与远程监控。同时，还利用Qt开发了Android手机APP，使得用户能够随时随地查看实验室内的环境参数，接收报警信息，并能远程操控实验室门锁，极大地提升了实验室的安全管理水平和应急响应能力。
10亿数据找出前100大的数据(网易大数据面试算法题)
放肆桀骜
05-13 4246
当时去面试的时候现场现写，憋了将近一个小时，用递归实现了，估计问题很多，不是人家怎么可能不要我，哈哈哈，开个玩笑； 思路就是新建一个长度为100数组array1，把前100个元素放进去，排个序，然后再把剩下的元素拿来跟array1里面的元素比较，大于的时候替换，等于的时候就跳出循环取下一个元素，遍历一遍大数组就能取出前100大的数来，没考虑到时间复杂度，心里想实现了就烧高香了，那还管得了那么多。 后来回来百度的时候才发现，有更简洁的办法 利用堆排实现，具体请见下面大神的博客 数据结构——常见的十种.
实战：上亿数据如何秒查
weixin_30892763的博客
04-08 593
最近在忙着优化集团公司的一个报表。优化完成后，报表查询速度有从半小时以上(甚至查不出)到秒查的质变。从修改SQL查询语句逻辑到决定创建存储 过程实现，花了我3天多的时间，在此总结一下，希望对朋友们有帮助。 数据背景 首先项目是西门子中国在我司实施部署的MES项目，由于项目是在产线上运作(3 years+)，数据累积很大。在项目的数据库中，大概上亿条数据的表有5个以上，千万级数据的表10个以上...
算法与数据结构——算法题 102：1000亿条记录中查询内容（腾讯笔试题） ？ 待解决
wjheha的博客
12-18 635
题目：有1000亿条记录，每条记录由url,ip,时间组成，设计一个系统能够快速查询以下内容： 1、给定url和时间段（精确到分钟）统计url的访问次数 2、给定ip和时间段（精确到分钟）统计ip的访问次数思路：
动画：二分查找(上) | 面试官问我如何在 1 亿数据中快速查找某一整数？(上)
小鹿动画学编程
11-01 3730
关注公众号，小鹿动画学编程，一天一篇动画喂饱你！ 写在前边 今天就来学习一下在一组有序数据中如何快速查找一个数。也就是我们所说的二分查找，虽然很多小伙伴对二分查找很熟悉，但是到了真正的应用问题上，还是不能更好的来把握二分的思想。要想把这部分把握好，还需要真正的体验一下二分查找的强大的效率。 如题目中所述，如果你今天去面试，面试官要问你如何在十个数中查找一个整数，那么你很快就会想到从头到尾遍历就...
假如有上亿条数据，你如何快速找到其中一条你想要的数据（几种简单的算法）
喜欢猪猪
07-04 363
在处理上亿条数据时，选择合适的算法和数据结构是关键。哈希表、二叉搜索树、分区查找、倒排索引和 B+ 树都是常见的高效查找方式。具体选择哪种方法，需要根据数据的特点和实际应用场景来决定。
系统设计之路：如何设计一个URL短链服务
m0_64354350的博客
11-25 1338
每当我们学习一门新的编程语言，做的第一件事情，就是写一个 “ Hello world ” 程序，先让它能 Run 起来，潘多拉魔盒打开之后，再深入学习语言的其他精髓。 同样，我们在准备系统设计相关的面试时，“设计一个 URL 短链服务” 往往就是那个 “ Hello world ”。吃下这道开胃菜，才能有胃口品尝后续更美味的 “系统设计” 大餐，比如： 设计 News Feeds 系统 设计 Twitter 设计搜索框中的下拉提示 设计 12306 订票系统 设计一个 KV 存储系统 设计一个
设计高并发架构与系统多级缓存架构如何设计？
m0_67322837的博客
04-10 1152
高并发经常会发生在有大活跃用户量，用户高聚集的业务场景中，如：秒杀活动，定时领取红包等。 为了让业务可以流畅的运行并且给用户一个好的交互体验，我们需要根据业务场景预估达到的并发量等因素，来设计适合自己业务场景的高并发处理方案。 在电商相关产品开发的这些年，我有幸的遇到了并发下的各种坑，这一路摸爬滚打过来有着不少的血泪史，这里进行的总结，作为自己的归档记录，同时分享给大家。 服务器架构 业务从发展的初期到逐渐成熟，服务器架构也是从相对单一到集群，再到分布式服务。 一个可以支持高并发的服务少不了好的服
1000亿数据、30W级qps如何架构？来一个天花板案例
架构师尼恩
03-01 2761
千万级数据，如何做系统架构？亿级数据，如何做做系统架构？千万级流量，如何做系统架构？亿级流量，如何做做系统架构？高并发系统，如何架构？
【索引】：如何在海量数据中快速查找某个数据？
u010227042的博客
05-22 2642
在【B+树】：MySQL数据库索引是如何实现的？中，我们讲了MySQL数据库索引的实现原理。MySQL底层依赖的是B+树这种数据结构。那类似Redis这样的Key-Value数据库中的索引，又是怎么实现的呢？底层依赖的有是什么数据结构呢？ 今天，我们来讲一下索引这种常用的技术解决思路，底层往往会依赖哪些数据结构。同时，通过索引这个应用场景，我也带你回顾一下，之前我们学过的几种支持动态集合的数据结构。 为什么需要索引？ 在实际的软件开发中，业务纷繁复杂。但是万变不离其宗，如果抛开这些业务和功能的外壳，它
Java面试指南：突破面试难关，成为优秀程序员的必备利器！
热门推荐
Java程序员廖志伟
05-08 12万+
超高质量的文章，Java面试，Java理论知识大全，人生感悟都给到你。
海量数据下，如何快速查找一条记录？
木落
04-04 819
一、 使用布隆过滤器（0，1）快速过滤不存在的记录 使用Redis中的bitmap结构来实现布隆过滤器 二、在Redis中建立数据缓存 使用字符串来的形式来存储（userid->user.json) 使用hash来存储一条记录 一个hash最多能存储2^32-1个key(40多个亿键值对) 缓存击穿：对于不存在的数据也建立key,这些key都是经过布隆过滤器过滤的，一般不会太多 缓存过期：将热点数据设置成永不过期，定期重建缓存，使用Redis分布式锁重建缓存 三、查询优化 按槽位分配数据，自
统计每个url访问的topN用户以及访问次数(sql)
qq_40262372的博客
07-28 9213
一、题目如下 有一张表t1，假设有以下三个字段,代表某个userid在某一天访问了这个url： userid url event_day q1:20210725这一天每个url的pv／uv q2: 20210725这一天每个url访问的top10客户以及访问次数 输出：url, userid,pv，排名 q3: 20210725这一天的7日留存 表如下： 1.对于问题1 pv：每个url的总访问量 ...
海量数据处理 - 10亿个数中找出最大的10000个数（top K问题）
飘在上海的北方人
01-13 2323
[size=small] 前两天面试3面学长问我的这个问题（想说TEG的3个面试学长都是好和蔼，希望能完成最后一面，各方面原因造成我无比想去鹅场的心已经按捺不住了），这个问题还是建立最小堆比较好一些。 先拿10000个数建堆，然后一次添加剩余元素，如果大于堆顶的数（10000中最小的），将这个数替换堆顶，并调整结构使之仍然是一个最小堆，这样，遍历完后，堆中的10000个数就是所需...
牛逼轰轰！“Java基础-Java中级开发-Java高级程序员”等面试集合，刷完献出我的膝盖！
weixin_47082274的博客
11-24 1207
Java基础（对象+线程+字符+接口+变量+异常+方法） 面向对象和面向过程的区别？ Java 语言有哪些特点？ 关于 JVM JDK 和 JRE 最详细通俗的解答 Oracle JDK 和 OpenJDK 的对比 Java 和 C++的区别？ 什么是 Java 程序的主类？应用程序和小程序的主类有何不同？ Java 应用程序与小程序之间有哪些差别？ 字符型常量和字符串常量的区别 构造器 Constructor 是否可被 override？ 重载和重写的区别？ Java 面向对象编程三
思考题：存储了100亿个非法网页的url地址。每个URL地址的大小占用64B。要求实现一个网页过滤系统，内存使用不能超过30GB，此外，允许有一定的误判率，但是不能超过万分之一
数据搬运工
04-15 901
思考题：存储了100亿个非法网页的url地址。每个URL地址的大小占用64B。要求实现一个网页过滤系统，内存使用不能超过30GB，此外，允许有一定的误判率，但是不能超过万分之一 ...
分布式服务常见问题—访问量统计如何做？
sanmi8276的博客
02-17 2171
原文作者：逖靖寒的世界 原文地址：分布式实时统计系统--RAINBIRD 最近Twitter开发了一款分布式实时统计系统Rainbird。Rainbird可以用于实时数据的统计： 统计网站中每一个页面，域名的点击次数 内部系统的运行监控（统计被监控服务器的运行状态） 记录最大值和最小值 性能要求 作为大型网站的分布式应用，需要具备以下性能： 极高的写入性能，可以达到100,000的WPS 非常高的读取性能，可以达到10,000s的RPS 高度的可扩展性，包括读取和存储等等，能够扩展到..
每天用户表都有一条余额记录，求每个用户余额大于1000的连续天数？
06-06
这个语句的核心是使用了 Window 函数 `ROW_NUMBER()` 和 `PARTITION BY` 子句来给每条记录分配一个序号，然后在计算连续天数时，使用了一个小技巧，即将每个余额大于1000的记录和其前面所有记录分到同一组，将余额...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值