昨天的一个面试题：如何从存放在A和B中的一亿条URL中找出A中有而B中没有的URL...

最新推荐文章于 2024-10-17 16:37:53 发布
最新推荐文章于 2024-10-17 16:37:53 发布
阅读量150 收藏
点赞数
分类专栏： 面试相关 文章标签： 面试 数据结构
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/olylakers/article/details/83724993
版权

A和B中各存放着一亿条不重复的URL，URL存放时无序的，且URL是没有特征的，A和B可以试任意数据结构，也可以是存在数据库中。

如何找出A中有而B中没有的URL。

我当时给出的思路是：

依次遍历A和B，把从A和B里取出来的URL进行hashcode变换，把每条URL转换成key。相同的URL转换成相同的hashcode，然后用这个hashcode充当数组的下标或者map的key，数组的元素或map的value就是URL在A和B中的出现次数。

 

当时面试官说这是个可行的办法之一。所以我觉得应该还有更好的办法，因为要把url做 hashcode，而且要做到不冲突，那么需要的数字就要很大很大。。。就算是用byte数组或者boolean数组来存放在URL在A和B中的出现次数，所需内存也很可观。

 

大家一起讨论下。。。。

olylakers
关注
专栏目录
2024年Unity 面试题 |五萬字 二佰道| Unity面试题大全，面试题总结【全网最全，收藏一篇足够面试】
努力前行，总会成为自己心中的那道光
02-23 12万+
正所谓 金三银四 ，又到了找工作的大好时机了，不知道大家有没有意向找一份更好的工作呢~ 之前写了很多Unity的学习和实例文章，但是面试题部分还没有一个系统的整理。 那本篇文章就来整理一下Unity中一些常见的面试题，说不准就会面试的时候就会遇到！ 本篇文章会将Unity所有方面的面试资料都融会贯通，绝对是2022年Unity面试领域最实用的文章啦！
204道高频Java面试题❤️五万字❤️全路线十八个模块❤️面试10多家中大厂后的总结（建议收藏）
公号：一条coding
09-13 1万+
整理了两周
找到100亿个URL中重复的URL及搜索词汇的TopK问题
h2498864708的博客
06-27 648
题目：有一个包含100亿个url的大文件，假设每个url占用64B，请找出其中所有重复的url 补充问题：某搜索公司一天的用户搜索词汇是海量的，请设计一种求出每天热门的top 100 词汇的可行方法 思想：用哈希分流的思想来处理，把包含百亿数量的词汇文件分流到不同机器上，具体多少台机器根据面试官规定或者更多的限制来决定。对每一台机器来说，如果分到的数据量依然很大，比如内存不够或其它问题，可以再用哈希函数把每台机器的流文件拆成更小的文件处理。处理每一个小文件的时候，通过哈希表统计每种词及其词频，哈希.
大数据面试题
weixin_30439067的博客
09-26 376
1.有两个a,b两个文件，每个文件内有50亿个url，每个url占64个字节，内存限制是4G，请找吃a,b文件都拥有的url。 　　解答思路：分治+hash 　　50*1000,000,000*64字节=3.2*1000,000,000,000字节 约= 3200G 　　通过hash(url)%1600，把a文件中的url分别存到1600个小文件中，命名问a1,a2,a3....a1600;...
爬虫url去重策略
hxxjxw的博客
04-25 421
爬虫url去重策略 1、将访问过的url保存到数据库中 最简单的方式，但是用的很少 2、将访问过的url保存到内存(set)中，只需要O(1)的代价就可以查询url 这样内存的占用会越来越大。 当有1亿条url时，假设每个url占用50个字符(这是保守估计了)， 100000000*2byte*50个字符/1024/1...
面试：如何从 100 亿 URL 中找出相同的 URL？
勇往直前的专栏
08-18 762
题目描述 给定 a、b 两个文件，各存放 50 亿个 URL，每个 URL 各占 64B，内存限制是 4G。请找出 a、b 两个文件共同的 URL。 “ 推荐一个艿艿写的 6000+ Star 的 SpringBoot + SpringCloud + Dubbo 教程的仓库：https://github.com/YunaiV/SpringBoot-Labs 解答思路 每个 URL 占 64B，那么 50 亿个 URL占用的空间大小约为 320GB。 “ 5, 000, 000, 000 * 64
Java面试场景题（1）---如何使用redis记录上亿用户连续登陆天数
最新发布
qq_39594419的博客
10-17 664
登录了，你可以存储为一...第二天...二...以此类推，到最后一天，以当天为起点，然后往前面推算，凡是碰到1的，就把他给统计，碰到0，就不再给用户继续统计，即可！但缺点（如图所示），不建议统计超过30天（如游戏签到）因为统计太长内存变多数量增加，30天就设置key为30，过期就结束~但是存储方式不一样，统计的方式也不一样。的数字，比如id为5），那么你第一天。来存储，因为占得内存小，速度也很快。
海量数据面试题整理1.给定a、b两个文件，各存放50亿个url，每个url各占64字节，内存限制是...
weixin_34392843的博客
01-30 1292
海量数据面试题整理 　　1. 给定a、b两个文件，各存放...
Java中高级面试题总览(一)
击水三千里的专栏
03-29 2万+
高频面试题深入剖析
前端200道面试题及答案（更新中）
热门推荐
m0_65450343的博客
06-11 11万+
目录html相关说一下对cookie和Storage(localStorage和sessionStorage) 的认识和区别？link和@import的区别浏览器如何实现不同标签页的通信？iframe的优缺点canvas做项目用到哪些h5新特性和css3新特性？用localstorage和sessionStorage写过什么？如何解决页面内容加载缓慢的问题？cookie的特点*页面渲染过程css相关javascript以及es6相关http相关浏览器bootstrapvue相关node相关微信小程序reac
找到100亿个URL中重复的URL以及搜索词汇的top K 问题
拉丁解牛技术专栏
10-16 3550
前天去腾讯面试大数据开发，问到的题目，总结一下。 题目一、有一个包含100亿个URL的大文件，假设每个URL占用16B,请找出其中所有重复的URL。 题目二、某搜索公司一天的用户搜索词汇是海量的百亿数据量，请设计一种求出每天最热top 100 词汇的可行办法。 题目一解法：        由于数据量很大，16*100亿B = 1600亿Byte,约等于160G。10亿Byte约等于1G大小...
从亿级数据量的url中找出出现次数最多的前十个url
lzf的博客
10-12 2096
流程： mapToPair + reduceByKey：计算每个url的出现次数； mapToPair + sortByKey：反转PairRDD，按照降序的方式对url的出现次数进行排序； take()：获取前十个url。 sparkConf.put("es.resource", indexName + "/" + indexType); sparkConf....
找到100亿个url中重复的url以及搜索词汇的topk问题
A Little Blog
12-04 1189
1.哈希分流到多台机器 2.哈希表统计每个机器中的每个小文件 3.最小堆（想一想为什么是最小堆？）
大数据和空间限制问题专题（二）
K_天道酬勤
01-03 773
大数据和空间限制问题专题（二）
【海量数据处理】如何从大量的 URL 中找出相同的 URL？
hoaven的博客
05-08 1709
如何从大量的 URL 中找出相同的 URL？ 题目描述 给定 a、b 两个文件，各存放 50 亿个 URL，每个 URL 各占 64B，内存限制是 4G。请找出 a、b 两个文件共同的 URL。 解答思路 每个 URL 占 64B，那么 50 亿个 URL占用的空间大小约为 320GB。 5,000,000,000 * 64B ≈ 5GB * 64 = 320GB 由于内存大小只有 4G，因此...
怎么在海量数据中找出重复次数最多的一个
__技术分享__部落格
02-22 5万+
1、海量日志数据，提取出某日访问百度次数最多的那个IP。 　　此题，在我之前的一篇文章算法里头有所提到，当时给出的方案是：IP的数目还是有限的，最多2^32个，所以可以考虑使用hash将ip直接存入内存，然后进行统计。 　　再详细介绍下此方案：首先是这一天，并且是访问百度的日志中的IP取出来，逐个写入到一个大文件中。注意到IP是32位的，最多有个2^32个 IP。同样可以采用映射的方法
从两个文件(各含50亿个url)中找出共同的url
fucangzxx的博客
06-03 8707
题目描述：给A，B两个文件，各存放50亿条URL，每条URL占用64个字节，内存限制为4G，找出A，B中相同的URL。 分析：我们先来看如果要把这些URL全部加载到内存中，需要多大的空间。 1MB = 2^20 = 10^6 = 100W 1GB = 2^30 = 10^9 = 10亿 50亿 = 5G * 64 Byte = 320G 明显是不可能全部加载到内存中的。我们可采用以下方法
前端面试题给一个域名a和一个域名b、想要在a向b传递的时候带数据如何实现
09-16
在前端中，可以通过以下方法实现在域名a向域名b传递数据： 1. 利用URL参数传递数据：在a域名的URL中追加参数，例如：b域名的URL为https://www.b.com，要向b传递数据可以将数据作为参数追加到URL上，例如：https://www.b.com?data=xxx。然后在b域名的前端代码中可以通过获取URL参数的方式来获取到传递的数据。可以使用JavaScript中的URLSearchParams类或手动解析URL参数。 2. 利用localStorage或sessionStorage：a域名通过localStorage或sessionStorage保存数据，然后在切换至b域名的页面时，可以通过JavaScript代码获取到a域名设置的数据。 3. 利用iframe或window.open进行页面跳转：a域名可以通过嵌入一个隐藏的iframe或通过window.open打开b域名的一个页面，然后将数据作为URL参数传递给b域名。b域名的页面可以通过获取URL参数的方式来获取到传递的数据。 需要注意的是，由于浏览器的同源策略限制，不同域名的前端页面不能直接访问彼此的数据。因此，在上述方法中，要实现在a向b传递数据，需要确保a和b属于同一个域名的子域名或者使用跨域技术（如CORS）来解决跨域问题。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值