面试题 ：10亿url去重只给4G内存

最新推荐文章于 2022-09-09 22:47:00 发布
最新推荐文章于 2022-09-09 22:47:00 发布
阅读量1.7k 收藏
点赞数 1
文章标签： 面试 java
原文链接：http://www.cnblogs.com/yongqi-wang/p/10yi.html
版权

我能想到的有以下几种：

用语言判断去重，ex表格去重，数据库去重，文件名字去重，

有人说：10亿url ex表放不下！！

 

可以用树和折半的思想将10亿url,变成单元最小化的树，然后用ex表去重

ex表去重时也可以用树的思想让内存最大利用！

（ps:当然要花费大量时间和精力）！

 

转载于:https://www.cnblogs.com/yongqi-wang/p/10yi.html

吃素的小动物
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
大厂面试真题13-商城常见面试题大数据问题
金蝶ERP解说
03-25 255
1、有几十亿的中文分词，分词是从文档中摘出来的。现在需要你设计一种数据结构来储存分词与文档的映射关系？（字节） 2、用4G的内存空间存储10亿个64字节url用什么数据结构？（字节） 假设每个网页 url 平均长度 64 字节，则 10 亿个 url 大约需要 60 G 内存。 使用布隆过滤器，针对 10 亿个 url，我们分配 100 亿个 bit，大约 1.2 G, 相比 100 G 内存，提升了近百倍 ...
牛客网面试——大数据方面/计算机基础/概率题
FPGA/MATLAB学习教程/源码/项目合作开发
10-03 891
• 有两个随机数产生器，R1以0.7的概率产生1，以0.3的概率产生0，而R2以0.3的概率产生1，0.7的概率产生0.问如何组合这两种产生器，使新得到的随机数产生器以0.5的概率产生1，0.5的概率产生0。• 给定一个分类器p，它有0.5的概率输出1，0.5的概率输出0。• 有100W个集合，每个集合中的word是同义词，同义词具有传递性， 比如集合1中有word a, 集合2中也有word a, 则集合1，2中所有词都是同义词，对这100W个集合进行归并，同义词都在一个集合当中。
url去重技术
03-05
URLQUCHONGJISHU ,哈希表的简历和网络爬虫的工作机制 能够在信息采集项目开发商
面试分析（百度）
菜鸡旭旭
03-31 626
这是别人面试的题目，我自己无聊尝试完成下百度一面1.给一个函数，返回0和1，概率为p和(1-p)，请你实现一个函数，使得返回0和1概率一样。分析：该问题在左腾云的书上有讲过，思路一般利用乘和加数学方式完成,该题共分母 p(1-p)回答：设f(x)为0:p 1:(1-p)           p*f(x)为0：p  1:(1-p)         （1-p）  0：p  1:1-p         ...
网易Java社招面试题，一次幸运的校招小米Java后台offer
m0_60452169的博客
08-06 201
1、10 亿个 URL，每个 URL的大小< 56B，要求去URL进行去重，并且机器的内存大小为 4G。 2、说一下计算机网络中七层，五层，四层协议；IP 地址子网划分。 3、在浏览器上敲一个URL，按下回车，发生了什么？ 4、问了不少Linux中的命令，具体忘记了，问了4,5个吧。 5、问了几种查表，连表的情况，让大体说出SQL语句来。 6、聊一聊对Tomcat的理解。 7、手写一个快排。 可以看出整体一面很富有校招的色彩，比较多的课本上的内容。而进入二面后，就开始..
【面试算法题】内存放不下的大数据URL的相关去重等操作
AloneYueCSDN
03-21 3119
文章目录题目一：有10 亿个 url，每个 url 大小小于 56B，要求去重，内存只给你4G题目二：给定a、b两个文件，各存放50亿个url，每个url各占64字节，内存限制是4G，让你找出a、b文件共同的url?题目三：有一个1G大小的一个文件，里面每一行是一个词，词的大小不超过16字节，内存限制大小是1M，要求返回频数最高的100个词。题目四：现有海量日志数据保存在一个超级大的文件中，该文件无法直接读入内存，要求从中提取某天出访问百度次数最多的那个IP。 原文链接1 原文链接2 题目一：有10 亿个
前端面试题：前端框架面试题大全
最新发布
06-21
前端面试题：前端框架面试题大全； 前端面试题：前端框架面试题大全； 前端面试题：前端框架面试题大全； 前端面试题：前端框架面试题大全； 前端面试题：前端框架面试题大全； 前端面试题：前端框架面试题大全； ...
4G、5G面试题.docx
09-24
4G和5G面试题涵盖了移动通信网络中的关键技术和优化策略。以下是对这些知识点的详细说明： 1. **LTE小区选择原则**：小区选择主要基于S准则，即UE会选择信号强度和服务质量达到预设标准的小区作为驻留小区。这涉及...
Vue面试题：让你在面试中游刃有余.md
08-15
Vue面试题：让你在面试中游刃有余.md
110道Python面试题：.pdf
08-27
Python面试题大全 Python是一种广泛应用于数据科学、人工智能、Web开发等领域的高级编程语言。以下是 Python 面试题大全，涵盖了 Python 的基础知识、语法、标准库、面向对象编程、多线程编程等方面。 1. Python ...
大厂高频面试题：说说你对Zygote的理解.docx
08-26
面试官在询问Zygote的理解时，通常希望候选人能够全面掌握Zygote的功能、启动流程以及其工作原理。 首先，让我们详细解释一下Zygote的作用： 1. **启动SystemServer**：Zygote的主要任务之一就是启动SystemServer...
算法岗位应该掌握的知识
dangshicanghai的博客
11-03 6042
作者：ShawnNg 链接：https://www.nowcoder.com/discuss/33737?type=2&order=3&pos=19&page=1 来源：牛客网 目录 Python C++ 智商题 大数据 计算机基础 概率题 HR常问问题 开放题 机器学习 编程题 Python Python的元组和列表的区别。 a = [1, 2, 3, 4], b
url去重
f81892461的专栏
02-20 4357
有10亿个url，每一个页面都非常大。怎样删除重复的url？ You have a billion urls, where each is a huge page. How do you detect the duplicate documents? 1.页面巨大，所以把他们全部存入内存很费事。可以在内存中存储页面的简短表示。很明显使用hash是个好的选择。 2.由于urls太多了
url去重的几种方式
qq_38759383的博客
06-14 1578
Set 集合天生具备不可重复性，使用它只能存储值不相同的元素，如果值相同添加就会失败，因此我们可以通过添加 Set 集合时的结果来判定 URL 是否重复 通过研究java的set集合底层源码可以知道，Set底层是Hash来实现的，Hash类型是散列，所以是无序的。以传入的值作为key值，PERSENT作为value来存储到map中，如果key值相同，将会覆盖，这就是set为什么能去重的原因（key相同会覆盖）。Redis Set 集合是一个无序的、自动去重的集合数据类型，Set底层用两种数据结构存储，一个是
面试：如何从 100 亿 URL 中找出相同的 URL？
墨鱼菜鸡
09-09 136
点击上方“五分钟学算法”，选择“星标”公众号 重磅干货，第一时间送达 来源：8rr.co/FR7V 题目描述解答思路方法总结 题目描述 给定 a、b 两个文件，各存放 50 亿个 URL，每个 URL 各占 64B，内存限制是 4G。请找出 a、b 两个文件共同的 URL。 解答思路 每个 URL 占 64B，那么 50 亿个...
给定a、b两个文件，各存放50亿个url，每个url各占64字节，内存限制是4G，让你找出a、b文件共同的url？
热门推荐
Alexzhang369学习总结空间
04-11 1万+
1. 给定a、b两个文件，各存放50亿个url，每个url各占64字节，内存限制是4G，让你找出a、b文件共同的url？ 　　方案1：可以估计每个文件安的大小为50G×64=320G，远远大于内存限制的4G。所以不可能将其完全加载到内存中处理。考虑采取分而治之的方法。 　　s 遍历文件a，对每个url求取，然后根据所取得的值将url分别存储到1000个小文件（记为）中。这样每个小文件的
找到100亿个URL中的重复URL以及搜索词汇的topK问题
辛明辉的专栏
07-27 9664
有一个包含100亿个URL的文件，假设每个URL占用64B，请找出其中所有重复的URL。这类问题一种解决方案（我只想到了这一种） 将文件通过哈希函数成多个小的文件，由于哈希函数所有重复的URL只可能在同一个文件中，在每个文件中利用一个哈希表做次数统计。就能找到重复的URL。这时候要注意的就是给了多少内存，我们要根据文件大小结合内存大小决定要分割多少文件topK问题和重复URL其实是一样的重复的多了
给定a、b两个文件，各存放50亿个url，每个url各占用64字节，内存限制是4G，如何找出a、b文件共同的url？
vanguard的博客
10-19 3441
题目描述：给定a、b两个文件，各存放50亿个url，每个url各占用64字节，内存限制是4G，如何找出a、b文件共同的url？ 分析：我们先来看如果要把这些URL全部加载到内存中，需要多大的空间。 1MB = 2^20 = 10^6 = 100W 1GB = 2^30 = 10^9 = 10亿 50亿 = 5G * 64 Byte = 320G 明显是不可能全部加
给定a、b两个文件，各存放50亿个url，每个url各占64字节，内存限制是4G，让你找出a、b文件共同的url?
乔治大哥的博客
10-23 9371
给定a、b两个文件，各存放50亿个url，每个url各占64字节，内存限制是4G，让你找出a、b文件共同的url? 两种方法： 一、采用Bloom filter，假设布隆过滤器的错误率为0.01，则位数组大小m约为输入元素个数n的13倍，此时需要的哈希函数k约为8个。 元素个数：n = 5G 位数组大小：m = 5G * 13 = 65G = 650亿 即需要650亿个bit位才能达到错误...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值