- 博客(2)
- 收藏
- 关注
RSS订阅转载 Bloom Filter——大规模数据处理利器
<br /><br />Bloom Filter是由Bloom在1970年提出的一种多哈希函数映射的快速查找算法。通常应用在一些需要快速判断某个元素是否属于集合，但是并不严格要求100%正确的场合。<br /> <br />一. 实例<br />为了说明Bloom Filter存在的重要意义，举一个实例：<br />假设要你写一个网络蜘蛛（web crawler）。由于网络间的链接错综复杂，蜘蛛在网络间爬行很可能会形成“环”。为了避免形成“环”，就需要知道蜘蛛已经访问过那些URL。给一个URL，怎样知道蜘蛛
2011-04-14 00:27:00
245
转载 频繁分配释放内存导致的性能问题的分析
刚才看了百度同学的分享，觉得挺有意思。试着总结一下：征兆：1. system cpu占用率偏高。2. 执行命令 用ps -o majflt,minflt -C program命令查看，majflt或者minflt每秒增量很大。原因：频繁的分配释放内存，导致缺页中断次数很高。而缺页中断的处理是由系统在内核态完成的，所以system cpu利用率偏高，导致性能问题的产生。解决办法：将动态内存改为静态分配，或者启动的时候，用malloc为每个线程分配，然后保存在threaddata里面。但是，由于这个模块的特殊性
2011-04-14 00:21:00
956
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人