有一个2G 大的文件存放着ip地址，请统计出重复次数最多的前10个

最新推荐文章于 2024-06-20 11:11:43 发布

weixin_33755847

最新推荐文章于 2024-06-20 11:11:43 发布

阅读量540

点赞数

文章标签： python

原文链接：https://my.oschina.net/gaohongtian/blog/495294

版权

2019独角兽企业重金招聘Python工程师标准>>>

今天笔试遇到一道题目，贴出来看大家的解法如何。

有一个2G 大的文件存放着ip地址，请统计出重复次数最多的前10个。

查了一些网上类似的问题，思路通常都是讲大文件切分成许多个小文件，采用分而治之的思想，算出每个文件中最多的一个，并且记录次数。然后在求前10。

转载于:https://my.oschina.net/gaohongtian/blog/495294

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

weixin_33755847

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
有一个2G 大的文件存放着ip地址，请统计出重复次数最多的前10个

2019独角兽企业重金招聘Python工程师标准>>> ...
复制链接

扫一扫

从100亿条记录的文本文件中取出重复数最多的前10条

qq_26498709的博客

11-03

1万+

场景哈希分治法这是一个 ip 地址 127.0.0.1 假设有100亿个这样的 ip 地址存在文件中这个文件大小大约是 100GB 问题：要统计出100亿个 ip 中，重复出现次数最多的前10个分析100GB 几乎不可能一次加载进内存进行操作，所以必须要拆分那么可以利用分治的思想，把规模大的问题化小，然后解决各个小的问题，最后得出结果。实现思路 ipv4 地址是一个 32 位的整数，

提取出某日访问网站次数最多的那K个IP

03-25

标题 "提取出某日访问网站次数最多的那K个IP" 涉及的是数据分析和数据处理方面的技术，主要目标是从海量的日志数据中找出在特定日期内访问网站频率最高的K个IP地址。在这个过程中，我们可以使用多种编程语言和工具来...

参与评论您还未登录，请先登录后发表或查看评论

算法系列-大数据面试题-在超大文件中找出访问百度次数最多的IP

tiankong_的博客

08-16

8176

1.题目描述现有海量日志数据保存在一个超级大的文件中，该文件无法直接读入内存，要求从中提取某天出访问百度次数最多的那个IP 2.思考过程（1）面试中若题目提到大文件等，其实就是告诉你数据量大，不能一次性加载到内存中，而实际中我们就需要估算。既然是要对访问百度次数的ip做统计，我们最好先预处理一下，遍历把访问百度的所有ip写到另一个文件a中（2）ip用32位表示，所以最多有2^

网络基础篇：网络模型

最新发布

decade777555的博客

06-20

818

当我们考虑进程间通信时，我们实际上是在考虑如何在不同的实体（进程）之间交换信息。然而，当这些实体跨越不同的设备或系统时，我们就需要引入更高级别的通信机制，即。是一种允许设备（如计算机、服务器、移动设备等）通过某种形式的连接（如电线、光纤、无线电波等）进行通信的系统。要解决上述问题，网络结构分层是计算机网络设计中的一个重要概念，它将复杂的网络通信过程划分为若干个独立的、相对简单的层次，每个层次都有其特定的功能和协议。这样做的目的是为了简化网络设计和实现，提高网络的可维护性和可扩展性。

在一个很大的日志文件中查找到出现最多的ip并且记录次数

李佳航的博客

03-13

3409

问题在一个100G的日志文件中, 查找到访问最多的IP, 获得前3个IP, 限制内存只有 1G, 不能使用MapReduce, 请使用Java实现问题解析既然内存只有1G 那么就不能直接使用HashMap进行统计, 可以使用MapReduce原理, 先切片, 通过Hash码进行分片, IP 相同的肯定在一个文件中, 分片不宜太大,也不宜太小, 就用1000片吧...

在100G文件中找出出现次数最多的100个IP，要求ip和次数都精确

u010694337的专栏

04-16

3752

1.刚开始自己想的是文件分100个桶，桶里取排序前1000，后来手动证明此算法有误 2.后来想到可以另外取100个文件桶，将ip存到(ip) % 100的桶里。最后对各个文件读入内存，上hashtable即可 ...

在100G文件中找出出现次数最多的100个IP

线上幽灵

09-18

1102

这个分类很关键，如果是随便分成100份，相同的IP被分在了不同的文件中，接下来再对每个文件统计次数并做归并，这个思路就没有意义了，起不到“大而化小，各个击破，缩小规模，逐个解决”的效果了。在统计完100个文件之后，我再建立一个小顶堆，大小为100，把建立好并存在硬盘哈希表载入内存，逐个对出现次数排序，挑出出现次数最多的100个，由于次数直接和IP是对应的，找出最多的次数也就找出了相应的IP。每条IP最长为15个字节，则100G/15=6.7G条，IP一共有多少种呢，不考虑IPv6，约有256。

竞价单界面复制文字（微信号等）次数统计，访问时间及 IP 地址，导出 execl

03-13

本文将详细讨论如何实现标题中提到的功能：“竞价单界面复制文字（微信号等）次数统计，访问时间及IP地址，导出Excel”。首先，我们要了解竞价单界面。竞价单通常是网络广告的一种形式，企业在搜索引擎或其他平台...

如何检测网络中的重复IP地址 防止ip地址冲突

10-01

如果收到多个不同的MAC地址回应同一个IP地址，那就说明存在重复IP地址。这可以通过网络扫描工具如Nmap实现，Nmap可以执行ARP扫描，快速识别出网络中的重复IP。此外，如果你的网络中包含思科路由器，这些设备通常会...

javascript获取重复次数最多的字符

12-03

在JavaScript编程中，有时我们需要找出一个字符串中重复次数最多的字符及其出现的频率。这个任务可以通过各种算法实现，其中一种常见的方法是使用递归。在给定的代码示例中，作者展示了一个用递归解决此类问题的方法...

PING多个IP工具，能同时PING多个IP或者IP地址段中文.zip

10-10

传统的命令行工具每次只能ping一个IP地址，效率较低。而"PingInfoView"是一款高效实用的工具，它允许用户同时ping多个IP地址或IP地址段，大大提高了工作效率。本文将详细介绍PingInfoView v2.05中文版的使用方法和...

全球ip+地址合集.txt文件

04-30

，全球ip+地址合集.txt文件，

找到文件中出现次数最多的10个ip

a13602955218的博客

04-14

1227

方法1 awk {count[$1]++} END{for(i in count) print(count[i],i);} file_name | sort -nr | head -n 10 方法2 sort filename | uniq -c | sort -nr | head -n 10

从大量的IP访问记录中找到访问次数最多的IP

weixin_30808575的博客

05-23

646

1.内存不受限一个IP有32bit（4Byte），1GB=10亿，那么在4GB内存的情况下，可以存10亿个IP。用HashMap，边存入IP边维护一个最大次数，这样遍历一遍就可以求出，时间复杂度为O(n)。 2.内存受限假设我们有1TB的数据，但内存只有4GB，不能将数据全部读入内存做运算。从输入流中读取1TB的数据，将IP地址按模1000运算，相同的模值IP写到同一个文件中。这样就会产生...

【面试题】100GB的文件，内存2G，如何查找出现次数最多的TOPK

iCode_girl的博客

07-12

1436

思路把大文件拆分成小文件，然后对每个文件求topK，最后求整个的topK。

0.2、大文件次数统计之出现次数最多的IP

༺ bestcxx的专栏 ༻

03-06

627

文章目录100G 文件中出现次数最多的ip数？ 100G 文件中出现次数最多的ip数？ https://blog.csdn.net/qq_41011894/article/details/88538872

使用Linux常用文本处理命令统计日志文件中访问量最大的十个IP地址

ZHUZIH6的博客

01-02

6591

sort命令、uniq命令、tr命令、cut命令和split命令相关综合使用

用python实现文件的词频统计

m0_59233099的博客

11-07

1388

用python实现统计文本中出现最多的10个词

哈希分治法 - 统计海量数据中出现次数最多的前10个IP

not_in_mountain的博客

09-13

1732

原文链接：场景这是一个 ip 地址 127.0.0.1 假设有100亿个这样的 ip 地址存在文件中这个文件大小大约是 100GB 问题：要统计出100亿个 ip 中，重复出现次数最多的前10个 分析 100GB 几乎不可能一次加载进内存进行操作，所以必须要拆分那么可以利用分治的思想，把规模大的问题化小，然后解决各个小的问题，最后得出结果。实现思路

统计nginx日志里访问次数最多的前十个IP

03-24

很高兴为您服务！以下是统计nginx日志中访问次数最多的前十个IP的命令： awk '{print $1}' access.log | sort | uniq -c | sort -nr | head -n 10 | awk '{print $2}' 注意，此命令假设日志文件名为 access.log。