面试题 ：10亿url去重只给4G内存

最新推荐文章于 2023-05-22 20:47:18 发布
最新推荐文章于 2023-05-22 20:47:18 发布
阅读量1.7k 收藏
点赞数 1
文章标签： 面试 java
原文链接：http://www.cnblogs.com/yongqi-wang/p/10yi.html
版权

我能想到的有以下几种：

用语言判断去重，ex表格去重，数据库去重，文件名字去重，

有人说：10亿url ex表放不下！！

 

可以用树和折半的思想将10亿url,变成单元最小化的树，然后用ex表去重

ex表去重时也可以用树的思想让内存最大利用！

（ps:当然要花费大量时间和精力）！

 

转载于:https://www.cnblogs.com/yongqi-wang/p/10yi.html

吃素的小动物
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
大厂面试真题13-商城常见面试题大数据问题
金蝶ERP解说
03-25 253
1、有几十亿的中文分词，分词是从文档中摘出来的。现在需要你设计一种数据结构来储存分词与文档的映射关系？（字节） 2、用4G的内存空间存储10亿个64字节url用什么数据结构？（字节） 假设每个网页 url 平均长度 64 字节，则 10 亿个 url 大约需要 60 G 内存。 使用布隆过滤器，针对 10 亿个 url，我们分配 100 亿个 bit，大约 1.2 G, 相比 100 G 内存，提升了近百倍 ...
牛客网面试——大数据方面/计算机基础/概率题
FPGA/MATLAB学习教程/源码/项目合作开发
10-03 883
• 有两个随机数产生器，R1以0.7的概率产生1，以0.3的概率产生0，而R2以0.3的概率产生1，0.7的概率产生0.问如何组合这两种产生器，使新得到的随机数产生器以0.5的概率产生1，0.5的概率产生0。• 给定一个分类器p，它有0.5的概率输出1，0.5的概率输出0。• 有100W个集合，每个集合中的word是同义词，同义词具有传递性， 比如集合1中有word a, 集合2中也有word a, 则集合1，2中所有词都是同义词，对这100W个集合进行归并，同义词都在一个集合当中。
url去重技术
03-05
URLQUCHONGJISHU ,哈希表的简历和网络爬虫的工作机制 能够在信息采集项目开发商
面试分析（百度）
菜鸡旭旭
03-31 621
这是别人面试的题目，我自己无聊尝试完成下百度一面1.给一个函数，返回0和1，概率为p和(1-p)，请你实现一个函数，使得返回0和1概率一样。分析：该问题在左腾云的书上有讲过，思路一般利用乘和加数学方式完成,该题共分母 p(1-p)回答：设f(x)为0:p 1:(1-p)           p*f(x)为0：p  1:(1-p)         （1-p）  0：p  1:1-p         ...
网易Java社招面试题，一次幸运的校招小米Java后台offer
m0_60452169的博客
08-06 196
1、10 亿个 URL，每个 URL的大小< 56B，要求去URL进行去重，并且机器的内存大小为 4G。 2、说一下计算机网络中七层，五层，四层协议；IP 地址子网划分。 3、在浏览器上敲一个URL，按下回车，发生了什么？ 4、问了不少Linux中的命令，具体忘记了，问了4,5个吧。 5、问了几种查表，连表的情况，让大体说出SQL语句来。 6、聊一聊对Tomcat的理解。 7、手写一个快排。 可以看出整体一面很富有校招的色彩，比较多的课本上的内容。而进入二面后，就开始..
【面试算法题】内存放不下的大数据URL的相关去重等操作
AloneYueCSDN
03-21 3110
文章目录题目一：有10 亿个 url，每个 url 大小小于 56B，要求去重，内存只给你4G题目二：给定a、b两个文件，各存放50亿个url，每个url各占64字节，内存限制是4G，让你找出a、b文件共同的url?题目三：有一个1G大小的一个文件，里面每一行是一个词，词的大小不超过16字节，内存限制大小是1M，要求返回频数最高的100个词。题目四：现有海量日志数据保存在一个超级大的文件中，该文件无法直接读入内存，要求从中提取某天出访问百度次数最多的那个IP。 原文链接1 原文链接2 题目一：有10 亿个
前端面试题：前端框架面试题大全
最新发布
06-21
前端面试题：前端框架面试题大全； 前端面试题：前端框架面试题大全； 前端面试题：前端框架面试题大全； 前端面试题：前端框架面试题大全； 前端面试题：前端框架面试题大全； 前端面试题：前端框架面试题大全； ...
4G、5G面试题.docx
09-24
4G面试试题 1. LTE小区选择遵循什么原则 PLMN选择，根据S准则，满足S准则就可以被选择为驻留小区 2. PCI规划的原则 复用距离最大化，邻区PCI的不能相同，邻区的邻区PCI不能相同，注意模3，模6，模30 3. OFMD有什么...
Vue面试题：让你在面试中游刃有余.md
08-15
Vue面试题：让你在面试中游刃有余.md
110道Python面试题：.pdf
08-27
Python面试题大全 Python是一种广泛应用于数据科学、人工智能、Web开发等领域的高级编程语言。以下是 Python 面试题大全，涵盖了 Python 的基础知识、语法、标准库、面向对象编程、多线程编程等方面。 1. Python ...
内存管理面试题-经典
08-19
内存管理面试题-经典 本文总结了内存管理面试题的经典问题和答案，涵盖了strcpy函数的实现、数组越界、strlen函数的使用等多个方面。通过对这些面试题的分析，我们可以看到，写一个简单的strcpy函数并不是那么简单...
算法岗位应该掌握的知识
dangshicanghai的博客
11-03 5983
作者：ShawnNg 链接：https://www.nowcoder.com/discuss/33737?type=2&order=3&pos=19&page=1 来源：牛客网 目录 Python C++ 智商题 大数据 计算机基础 概率题 HR常问问题 开放题 机器学习 编程题 Python Python的元组和列表的区别。 a = [1, 2, 3, 4], b
爬虫url去重策略
hxxjxw的博客
04-25 385
爬虫url去重策略 1、将访问过的url保存到数据库中 最简单的方式，但是用的很少 2、将访问过的url保存到内存(set)中，只需要O(1)的代价就可以查询url 这样内存的占用会越来越大。 当有1亿条url时，假设每个url占用50个字符(这是保守估计了)， 100000000*2byte*50个字符/1024/1...
url去重
f81892461的专栏
02-20 4354
有10亿个url，每一个页面都非常大。怎样删除重复的url？ You have a billion urls, where each is a huge page. How do you detect the duplicate documents? 1.页面巨大，所以把他们全部存入内存很费事。可以在内存中存储页面的简短表示。很明显使用hash是个好的选择。 2.由于urls太多了
url去重的几种方式
qq_38759383的博客
06-14 1558
Set 集合天生具备不可重复性，使用它只能存储值不相同的元素，如果值相同添加就会失败，因此我们可以通过添加 Set 集合时的结果来判定 URL 是否重复 通过研究java的set集合底层源码可以知道，Set底层是Hash来实现的，Hash类型是散列，所以是无序的。以传入的值作为key值，PERSENT作为value来存储到map中，如果key值相同，将会覆盖，这就是set为什么能去重的原因（key相同会覆盖）。Redis Set 集合是一个无序的、自动去重的集合数据类型，Set底层用两种数据结构存储，一个是
面试：如何从 100 亿 URL 中找出相同的 URL？
墨鱼菜鸡
09-09 130
点击上方“五分钟学算法”，选择“星标”公众号 重磅干货，第一时间送达 来源：8rr.co/FR7V 题目描述解答思路方法总结 题目描述 给定 a、b 两个文件，各存放 50 亿个 URL，每个 URL 各占 64B，内存限制是 4G。请找出 a、b 两个文件共同的 URL。 解答思路 每个 URL 占 64B，那么 50 亿个...
60亿个URL，限制1G内存，如何去重？
提供各种学习资源及帮助
05-22 5248
如果不用位图的话，我们想要记录1，4，,6 这三个整型的话，就需要用三个unsigned int，已知每个unsigned int占4个字节，那么就是3*4 = 12个字节，一个字节有8 bit，那么就是 12*8 = 96 个bit。这样，把40亿个数字都放到Bitmap之后，所有位置上是1的表示存在，不为1的表示不存在，相同的QQ号只需要设置一次1就可以了，那么，最终就把所有是1的数字遍历出来就行了。当查询一个元素时，如果这些位都被设置为 1，则认为元素可能存在于集合中，否则肯定不存在。
给定a、b两个文件，各存放50亿个url，每个url各占64字节，内存限制是4G，让你找出a、b文件共同的url？
热门推荐
Alexzhang369学习总结空间
04-11 1万+
1. 给定a、b两个文件，各存放50亿个url，每个url各占64字节，内存限制是4G，让你找出a、b文件共同的url？ 　　方案1：可以估计每个文件安的大小为50G×64=320G，远远大于内存限制的4G。所以不可能将其完全加载到内存中处理。考虑采取分而治之的方法。 　　s 遍历文件a，对每个url求取，然后根据所取得的值将url分别存储到1000个小文件（记为）中。这样每个小文件的
给定a、b两个文件，各存放50亿个url，每个url各占用64字节，内存限制是4G，如何找出a、b文件共同的url？
vanguard的博客
10-19 3398
题目描述：给定a、b两个文件，各存放50亿个url，每个url各占用64字节，内存限制是4G，如何找出a、b文件共同的url？ 分析：我们先来看如果要把这些URL全部加载到内存中，需要多大的空间。 1MB = 2^20 = 10^6 = 100W 1GB = 2^30 = 10^9 = 10亿 50亿 = 5G * 64 Byte = 320G 明显是不可能全部加
Python 55 道面试题及答案.docx
07-08
在给出的文档《Python 55 道面试题及答案》中，包含了多个关于Python编程的面试问题及其解决方案。这些问题涉及了Python语言的基础知识、函数设计、列表操作、集合与字典的使用、异常处理、装饰器以及字符串和整数的...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值