先自我介绍一下,小编浙江大学毕业,去过华为、字节跳动等大厂,目前阿里P7
深知大多数程序员,想要提升技能,往往是自己摸索成长,但自己不成体系的自学效果低效又漫长,而且极易碰到天花板技术停滞不前!
因此收集整理了一份《2024年最新Java开发全套学习资料》,初衷也很简单,就是希望能够帮助到想自学提升又不知道该从何学起的朋友。
既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,涵盖了95%以上Java开发知识点,真正体系化!
由于文件比较多,这里只是将部分目录截图出来,全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频,并且后续会持续更新
如果你需要这些资料,可以添加V获取:vip1024b (备注Java)
正文
k=mnln2k=mnln2
实现布隆过滤器
使用布隆过滤器前,我们一般会评估两个因素。
-
预期添加元素的最大数量。
-
业务对错误的容忍程度。比如1000个允许错一个,那么误判概率应该在千分之一内。
很多布隆过滤工具都提供了预期添加数量和误判概率配置参数,它们会根据配置的参数计算出最佳的长度和哈希函数数量。
Java中有一些不错的布隆过滤工具包。
-
Guava
中BloomFilter
。 -
redisson
中RedissonBloomFilter
可以redis 中使用。
看下 Guava
中 BloomFilter
的简单实现,创建前先计算出位数组长度和哈希函数数量。
static BloomFilter create(
Funnel<? super T> funnel, long expectedInsertions, double fpp, Strategy strategy) {
/**
-
expectedInsertions:预期添加数量
-
fpp:误判概率
*/
long numBits = optimalNumOfBits(expectedInsertions, fpp);
int numHashFunctions = optimalNumOfHashFunctions(expectedInsertions, numBits);
try {
return new BloomFilter(new BitArray(numBits), numHashFunctions, funnel, strategy);
} catch (IllegalArgumentException e) {
throw new IllegalArgumentException(“Could not create BloomFilter of " + numBits + " bits”, e);
}
}
根据最佳布隆过滤器长度公式,计算最佳位数组长度。
static long optimalNumOfBits(long n, double p) {
if (p == 0) {
p = Double.MIN_VALUE;
}
return (long) (-n * Math.log§ / (Math.log(2) * Math.log(2)));
}
根据最佳哈希函数数量公式,计算最佳哈希函数数量。
static int optimalNumOfHashFunctions(long n, long m) {
return Math.max(1, (int) Math.round((double) m / n * Math.log(2)));
}
在redisson
中 RedissonBloomFilter
计算方法也是一致。
private int optimalNumOfHashFunctions(long n, long m) {
return Math.max(1, (int) Math.round((double) m / n * Math.log(2)));
}
private long optimalNumOfBits(long n, double p) {
if (p == 0) {
p = Double.MIN_VALUE;
}
return (long) (-n * Math.log§ / (Math.log(2) * Math.log(2)));
}
内存占用
设想一个手机号去重场景,每个手机号占用22 Byte
,估算逻辑内存如下。
| expected | HashSet | fpp=0.0001 | fpp=0.0000001 |
| — | — | — | — |
| 100万 | 18.28MB | 2.29MB | 4MB |
| 1000万 | 182.82MB | 22.85MB | 40MB |
| 1亿 | 1.78G | 228.53MB | 400MB |
注:实际物理内存占用大于逻辑内存。
误判概率 pp 和已添加的元素 nn,位数组长度 mm,哈希函数数量 kk 关系如下:
应用场景
-
弱密码检测;
-
垃圾邮件地址过滤。
-
浏览器检测钓鱼网站;
-
缓存穿透。
弱密码检测
维护一个哈希过弱密码列表。当用户注册或更新密码时,使用布隆过滤器检查新密码,检测到提示用户。
垃圾邮件地址过滤
维护一个哈希过垃圾邮件地址列表。当用户接收邮件,使用布隆过滤器检测,检测到标识为垃圾邮件。
浏览器检测钓鱼网站
使用布隆过滤器来查找钓鱼网站数据库中是否存在某个网站的 URL。
复习的面试资料
这些面试全部出自大厂面试真题和面试合集当中,小编已经为大家整理完毕(PDF版)
- 第一部分:Java基础-中级-高级
- 第二部分:开源框架(SSM:Spring+SpringMVC+MyBatis)
- 第三部分:性能调优(JVM+MySQL+Tomcat)
- 第四部分:分布式(限流:ZK+Nginx;缓存:Redis+MongoDB+Memcached;通讯:MQ+kafka)
- 第五部分:微服务(SpringBoot+SpringCloud+Dubbo)
- 第六部分:其他:并发编程+设计模式+数据结构与算法+网络
进阶学习笔记pdf
- Java架构进阶之架构筑基篇(Java基础+并发编程+JVM+MySQL+Tomcat+网络+数据结构与算法)
- Java架构进阶之开源框架篇(设计模式+Spring+SpringMVC+MyBatis)
- Java架构进阶之分布式架构篇 (限流(ZK/Nginx)+缓存(Redis/MongoDB/Memcached)+通讯(MQ/kafka))
- Java架构进阶之微服务架构篇(RPC+SpringBoot+SpringCloud+Dubbo+K8s)
网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。
需要这份系统化的资料的朋友,可以添加V获取:vip1024b (备注Java)
一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!
50)]
[外链图片转存中…(img-aDyIjrMW-1713382946551)]
网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。
需要这份系统化的资料的朋友,可以添加V获取:vip1024b (备注Java)
[外链图片转存中…(img-JlNCOdsL-1713382946551)]
一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!