资源限制类算法-6

最新推荐文章于 2022-05-12 22:50:18 发布
最新推荐文章于 2022-05-12 22:50:18 发布
阅读量126 收藏
点赞数
分类专栏： 算法 文章标签： 算法
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42002747/article/details/115171145
版权
该博客探讨了在大规模URL数据中如何有效地进行去重和统计频率。通过使用hash技术将URL分散到不同的小文件或机器上，然后在每个小文件或机器上找出前100个最频繁的URL，最后利用小根堆算法合并这些结果，得出全局的前100个最高频URL。这种方法在处理海量数据时能保持高效性和准确性。
摘要由CSDN通过智能技术生成

在这里插入图片描述
找出重复的URL

机器hash或者文件hash，小文件里面的所有URL可以放到内存Set判重

Top100

理解成一个文件有100亿个URL，可能有重复，
找出出现频率前100的所有URL

也是hash到不同小文件或者hash到不同机器，
统计每个小文件的前100或者不同机器的前100，
利用小根堆找出总共的前100，
比如全部整数分成了3个小文件，
都找出了各自的前100，
先拿第一个小文件构建小根堆，然后其他小文件的前100分别与它比较
梦江河
关注
专栏目录
NSGA-III算法-matlab版本-写满了中文注释
06-09
这是从mathwork上下载的NSGA-3的代码，自己写的注释。因为也没有完全弄懂代码，所以有些地方空着没写... 另外，这是开源资源，纯粹为了学术交流，个别人不要拿去重复上传。CSDN设置了最低积分限制，想免费都不行了。
说说什么是资源限制
学一次的博客
05-01 1233
资源限制是指在进行并发编程时，程序的执行速度受限于计算机硬件资源或软件资源。
资源限制类算法-1
weixin_42002747的博客
03-24 97
思路： 1）5G内存能存储的小根堆元素数量与Map数量？ 2）假设小根堆元素数量最多为k个，第一次遍历文件，找出前k大的整数，小根堆元素不重复，用Map记录每个小根堆中整数出现的次数，最后把小根堆的所有整数连同出现的次数写到文件中去； 3）记录2）出现的最小整数pre，第二次遍历文件，只找小于pre的整数，进行同样的操作； 4）如果遍历文件发现没有找到新的整数，结束，优化，在第一次遍历文件的同时记录文件的整数数量，当发现已经写够这么多个整数时，就不用浪费最后一次遍历了。 ...
算法数据结构（三十二）----资源限制技巧汇总
u011624267的博客
08-26 198
资源限制技巧 1）布隆过滤器用于集合的建立与查询，并可以节省大量空间（已讲） 2）一致性哈希解决数据服务器的负载管理问题（已讲） 3）利用并查集结构做岛问题的并行计算（已讲） 4）哈希函数可以把数据按照种类均匀分流 5）位图解决某一范围上数字的出现情况，并可以节省大量空间 6）利用分段统计思想、并进一步节省大量空间 7）利用堆、外排序来做多个处理单元的结果合并 题目一 32位无符号整数的范围是0~4,294,967,295， 现在有一个正好包含40亿个无符号整数的文件， 可以使.
公共安全网动态资源调度算法 - IEEE会议出版物1
08-03
在公共安全网络中，动态资源调度算法起着至关重要的作用，尤其是在灾难应对等关键任务场景下。本文主要探讨了一种用于公共安全网络的动态资源调度算法，旨在优化长期演进（LTE）网络的带宽利用和服务质量，以确保...
限制ACE-Guard Client EXE占用系统资源，支持各种腾讯游戏
最新发布
03-23
6. **核心代码或配置文件**："sguard_limit_code"可能是一个二进制文件或配置文件，包含了限制ACE-Guard Client EXE的算法或设定，用户需要正确安装或配置以启用限制功能。 7. **安全与性能的平衡**：在确保游戏...
贪心算法-背包装载问题
05-23
贪心算法-背包装载问题 贪心算法是指在解决问题时，总是做出在当前看来是最好的选择，而不考虑长远的结果。贪心算法可以应用于解决许多问题，例如背包装载问题、活动选择问题、Huffman编码等。 背包装载问题是指：...
国密算法资源工具类.zip
07-15
本资源有两个封装的jar资源和工具类，分别为硬件和软件封装，硬件是通过渔翁加密卡封装的分组算法的加密和解密流程，软实现分组加密内容是没有限制的，在数据量庞大的时候大大提高了加密和解密时间，硬件加密内容不...
Http怎么解决粘包拆包的？
weixin_42002747的博客
04-21 4993
发送端： 应用层协议的每个包到达传输层，如果是tcp，会可能出现以下情况: 1)应用层的每个包被拆成多个tcp报文，分别发送，这是拆包； 2)应用层的多个包组成一个tcp报文发送，这是粘包； 接收端： 发送端的数据通过网络传输到了接受端的tcp缓冲区，不知道如何组成一个应用层的包，这必须由应用层解决，方法如下： 1）定长：应用层指定每个包的长度，如果数据不够，用空格补充，缺点是不够灵活，不能发送超出这个长度的包； 2）分割符：指定分割符，接收端一直读取数据直到读取到指定的分割符； 3）指定长度+数据：比如先
限流算法-Redis实现滑动窗口限流算法
weixin_42002747的博客
03-21 780
public class SimpleRateLimiter { private Jedis jedis; public SimpleRateLimiter(Jedis jedis) { this.jedis = jedis; } public boolean isActionAllowed(String userId, String actionKey, int period, int maxCount) { String key = u
定时任务算法
weixin_42002747的博客
03-24 414
JDK Timer Timer timer = new Timer(); timer.schedule(new java.util.TimerTask() { @Override public void run() { System.out.println("ATask 3s 后执行"); } }, 3000); timer.schedu
sentinel集成nacos动态更新数据原理
weixin_42002747的博客
10-23 391
1）动态数据源顶层接口 loadConfig方法：返回目标数据，应该就是sentinel需要的各种规则对象； readSource方法：返回源数据，一般是字符串类型或者byte类型，然后解析成上面的目标数据类型，可推断出这个方法是实现的重点； getProperty方法：获取与当前数据源绑定的SentinelProperty，可以看出与目标数据有关； 总结：整个流程是2->1->3的顺序 2）顶层抽象类 包含一个数据转换器，将源数据转换成目标数据,和SentinelProperty的实现类
必撕算法系列
weixin_42002747的博客
04-23 380
负载均衡算法（参考dubbo） 权重随机 权重轮询（平滑模式） 一致性hash 最少活跃调用数量 限流算法（参考sentinel，google ratelimit） 固定窗口 滑动窗口 令牌桶算法 漏斗算法 定时任务算法（参考dubbo时间轮，java ScheduledThreadPoolExecutor) 小根堆 时间轮 有序表（二叉搜索树，跳表） 延时任务算法 Redisson 缓存淘汰算法（参考caffeine） FIFO LRU LFU 待补充 ...
资源限制类算法-3
weixin_42002747的博客
03-24 367
1GB内存 1B=8比特 1KB=1024B 1MB=1024KB=1024*1024KB约等于一百万字节 1G=1024MB约等于10亿字节 43亿比特约等于6亿字节，没超过1G 位图，把出现过的整数对应位置设置为1，最后遍历所有位置，找出所有没有出现过的整数 10MB内存或3KB内存 假设只有3KB内存，约等于3000字节，可以存放大约750个int类型，找离它最近的2的某次方，是512，定义int[] count=new int[512]; 32位无符号整数有4294967296个，..
负载均衡算法--权重随机
weixin_42002747的博客
05-12 349
思路 1）设w的权重之和为total，然后把total分成n份，n是w数组的长度，比如w数组[1,3,4,5],total=13,分成4份，那么第1份[1,1],第2份[2,4]，第3份[5,8]，第4份[9,13]; 2)在[1,total]范围上，选取一个随机数x，看落到哪个范围上，返回第几份的序号； 伪算法 // 返回[1,total]范围的随机数 x=random(1,total); // 遍历区间，看x落在哪个区间 for(每个区间：区间){ if(区间包含x){ return 当前区间序号； .
2020秋招笔试编程题
weixin_42002747的博客
10-11 343
寻找矩形最大面积 axb的矩形内切蛋糕，每块1x2，几种切法 给定一个正整数数组L，一个非负整数M，和S，从L选若干个数，和为S，有几种选法，可以利用M次魔法，每次魔法会将选定的数变成该数的阶乘 ...
两个单链表相交问题
weixin_42002747的博客
03-29 281
问题： 给定两个单链表，判断是否相交，如果相交，返回相交的第一个节点 思路： 1）如果两个单链表都无环，可能相交； 2）如果有一个单链表有环，另一个无环，则不可能相交； 3）如果两个单链表都有环，相交的情况只能是两个单链表共用一个环，则可以细分为： 入环节点是一个； 入环节点不是一个； 单独成环； ...
链表有环无环问题
weixin_42002747的博客
03-29 188
问题： 给定一个单链表，返回链表入环的第一个节点，如果没有环，返回null // 找到链表第一个入环节点，如果无环，返回null public static Node getLoopNode(Node head) { if (head == null || head.next == null || head.next.next == null) { return null; } // n1 慢 n2 快 Node n1 = head.next; // n1 -> slow
资源限制类算法-4
weixin_42002747的博客
03-24 159
思路 1）1GB内存约等于10亿字节，Map一个K,V对约等于8字节，10亿字节/10=1亿字节，可以存储1亿个K,V对，为保守起见，再除以10，1亿/10=1千万字节。将40亿个整数通过不断hash分成400份小文件，每份小文件大约有1千万字节； 2）统计每个小文件出现次数最大的数，最后统计所有小文件出现次数最大的数； ...
SC-FDMA中继系统资源优化：算法探索
针对SC-FDMA技术的子信道相邻限制，研究者提出了两种算法，一种是基于集合划分问题的最优资源分配算法，另一种则是基于贪婪试探性思想的次优算法，旨在平衡性能与计算复杂度。这两种算法均在提高频谱利用率和降低...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值