先自我介绍一下,小编浙江大学毕业,去过华为、字节跳动等大厂,目前阿里P7
深知大多数程序员,想要提升技能,往往是自己摸索成长,但自己不成体系的自学效果低效又漫长,而且极易碰到天花板技术停滞不前!
因此收集整理了一份《2024年最新Java开发全套学习资料》,初衷也很简单,就是希望能够帮助到想自学提升又不知道该从何学起的朋友。
既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,涵盖了95%以上Java开发知识点,真正体系化!
由于文件比较多,这里只是将部分目录截图出来,全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频,并且后续会持续更新
如果你需要这些资料,可以添加V获取:vip1024b (备注Java)
正文
三、LVS
1.LVS 原理
LVS 的 IP 负载均衡技术是通过 IPVS 模块来实现的,IPVS 是 LVS 集群系统的核心软件,它的主要作用是:安装在 Director Server
上,同时在 Director Server
上虚拟出一个 IP 地址,用户必须通过这个虚拟的 IP 地址访问服务器。这个虚拟 IP 一般称为 LVS 的 VIP,即 Virtual IP
。访问的请求首先经过 VIP 到达负载调度器,然后由负载调度器从 Real Server
列表中选取一个服务节点响应用户的请求。 在用户的请求到达负载调度器后,调度器如何将请求发送到提供服务的 Real Server
节点,而 Real Server
节点如何返回数据给用户,是 IPVS 实现的重点技术。
- ipvs : 工作于内核空间,主要用于使用户定义的策略生效
- ipvsadm : 工作于用户空间,主要用于用户定义和管理集群服务的工具
ipvs 工作于内核空间的 INPUT
链上,当收到用户请求某集群服务时,经过 PREROUTING 链
,经检查本机路由表,送往 INPUT 链
;在进入 netfilter
的 INPUT 链
时,ipvs 强行将请求报文通过 ipvsadm
定义的集群服务策略的路径改为 FORWORD 链
,将报文转发至后端真实提供服务的主机。
2.LVS NAT 模式
- 客户端将请求发往前端的负载均衡器,请求报文源地址是 CIP(客户端 IP),后面统称为 CIP),目标地址为 VIP(负载均衡器前端地址,后面统称为 VIP)。
- 负载均衡器收到报文后,发现请求的是在规则里面存在的地址,那么它将客户端请求报文的目标地址改为了后端服务器的 RIP 地址并将报文根据算法发送出去。
- 报文送到 Real Server 后,由于报文的目标地址是自己,所以会响应该请求,并将响应报文返还给 LVS。
- 然后 lvs 将此报文的源地址修改为本机并发送给客户端。
注意:在 NAT 模式中,
Real Server
的网关必须指向 LVS,否则报文无法送达客户端
特点:
- NAT 技术将请求的报文和响应的报文都需要通过 LB 进行地址改写,因此网站访问量比较大的时候 LB 负载均衡调度器有比较大的瓶颈,一般要求最多之能 10-20 台节点
- 只需要在 LB 上配置一个公网 IP 地址就可以了。
- 每台内部的
realserver
服务器的网关地址必须是调度器 LB 的内网地址。 - NAT 模式支持对 IP 地址和端口进行转换。即用户请求的端口和真实服务器的端口可以不一致。
优点:
集群中的物理服务器可以使用任何支持 TCP/IP 操作系统,只有负载均衡器需要一个合法的 IP 地址。
缺点:
扩展性有限。当服务器节点(普通 PC 服务器)增长过多时,负载均衡器将成为整个系统的瓶颈,因为所有的请求包和应答包的流向都经过负载均衡器。当服务器节点过多时,大量的数据包都交汇在负载均衡器那,速度就会变慢!
3.LVS DR 模式(局域网改写 mac 地址)
- 客户端将请求发往前端的负载均衡器,请求报文源地址是 CIP,目标地址为 VIP。
- 负载均衡器收到报文后,发现请求的是在规则里面存在的地址,那么它将客户端请求报文的源 MAC 地址改为自己 DIP 的 MAC 地址,目标 MAC 改为了 RIP 的 MAC 地址,并将此包发送给 RS。
- RS 发现请求报文中的目的 MAC 是自己,就会将次报文接收下来,处理完请求报文后,将响应报文通过 lo 接口送给 eth0 网卡直接发送给客户端。
注意:需要设置 lo 接口的 VIP 不能响应本地网络内的 arp 请求。
总结:
- 通过在调度器 LB 上修改数据包的目的 MAC 地址实现转发。注意源地址仍然是 CIP,目的地址仍然是 VIP 地址。
- 请求的报文经过调度器,而 RS 响应处理后的报文无需经过调度器 LB,因此并发访问量大时使用效率很高(和 NAT 模式比)
- 因为 DR 模式是通过 MAC 地址改写机制实现转发,因此所有 RS 节点和调度器 LB 只能在一个局域网里面
- RS 主机需要绑定 VIP 地址在 LO 接口(掩码 32 位)上,并且需要配置 ARP 抑制。
- RS 节点的默认网关不需要配置成 LB,而是直接配置为上级路由的网关,能让 RS 直接出网就可以。
- 由于 DR 模式的调度器仅做 MAC 地址的改写,所以调度器 LB 就不能改写目标端口,那么 RS 服务器就得使用和 VIP 相同的端口提供服务。
- 直接对外的业务比如 WEB 等,RS 的 IP 最好是使用公网 IP。对外的服务,比如数据库等最好使用内网 IP。
优点:
和 TUN(隧道模式)
一样,负载均衡器也只是分发请求,应答包通过单独的路由方法返回给客户端。与 VS-TUN
相比,VS-DR
这种实现方式不需要隧道结构,因此可以使用大多数操作系统做为物理服务器。
DR 模式
的效率很高,但是配置稍微复杂一点,因此对于访问量不是特别大的公司可以用 haproxy/nginx
取代。日1000-2000W PV或者并发请求1万一下都可以考虑用 haproxy/nginx
。
缺点:
所有 RS 节点和调度器 LB 只能在一个局域网里面
4.LVS TUN 模式(IP 封装、跨网段)
- 客户端将请求发往前端的负载均衡器,请求报文源地址是 CIP,目标地址为 VIP。
- 负载均衡器收到报文后,发现请求的是在规则里面存在的地址,那么它将在客户端请求报文的首部再封装一层 IP 报文,将源地址改为 DIP,目标地址改为 RIP,并将此包发送给 RS。
- RS 收到请求报文后,会首先拆开第一层封装,然后发现里面还有一层 IP 首部的目标地址是自己 lo 接口上的 VIP,所以会处理次请求报文,并将响应报文通过 lo 接口送给 eth0 网卡直接发送给客户端。
注意:需要设置 lo 接口的 VIP 不能在共网上出现。
总结:
- TUNNEL 模式必须在所有的
realserver
机器上面绑定 VIP 的 IP 地址 - TUNNEL 模式的
vip ------>realserver
的包通信通过 TUNNEL 模式,不管是内网和外网都能通信,所以不需要lvs vip
跟realserver
在同一个网段内。 - TUNNEL 模式
realserver
会把packet
直接发给client
不会给lvs
了 - TUNNEL 模式走的隧道模式,所以运维起来比较难,所以一般不用。
优点:
负载均衡器只负责将请求包分发给后端节点服务器,而 RS 将应答包直接发给用户。所以,减少了负载均衡器的大量数据流动,负载均衡器不再是系统的瓶颈,就能处理很巨大的请求量,这种方式,一台负载均衡器能够为很多 RS 进行分发。而且跑在公网上就能进行不同地域的分发。
缺点:
隧道模式的 RS 节点需要合法 IP,这种方式需要所有的服务器支持”
IP Tunneling”(IP Encapsulation)
协议,服务器可能只局限在部分 Linux 系统上。
5.LVS FULLNAT 模式
无论是 DR 还是 NAT 模式,不可避免的都有一个问题:LVS 和 RS 必须在同一个 VLAN 下,否则LVS 无法作为 RS 的网关。 这引发的两个问题是:
- 同一个 VLAN 的限制导致运维不方便,跨 VLAN 的 RS 无法接入。
- LVS 的水平扩展受到制约。当 RS 水平扩容时,总有一天其上的单点 LVS 会成为瓶颈。
Full-NAT
由此而生,解决的是 LVS
和 RS
跨 VLAN 的问题,而跨 VLAN 问题解决后,LVS
和 RS
不再存在 VLAN 上的从属关系,可以做到多个 LVS
对应多个 RS
,解决水平扩容的问题。
Full-NAT
相比 NAT
的主要改进是,在 SNAT/DNAT
的基础上,加上另一种转换,转换过程如下:
- 在包从 LVS 转到 RS 的过程中,源地址从客户端 IP 被替换成了 LVS 的内网 IP。内网 IP 之间可以通过多个交换机跨 VLAN 通信。目标地址从 VIP 修改为 RS IP。
- 当 RS 处理完接受到的包,处理完成后返回时,将目标地址修改为 LVS ip,原地址修改为 RS IP,最终将这个包返回给 LVS 的内网 IP,这一步也不受限于 VLAN。
- LVS 收到包后,在 NAT 模式修改源地址的基础上,再把 RS 发来的包中的目标地址从 LVS 内 网 IP 改客户端的 IP,并将原地址修改为 VIP。
Full-NAT
主要的思想是把网关和其下机器的通信,改为了普通的网络通信,从而解决了跨 VLAN 的问题。采用这种方式,LVS 和 RS 的部署在 VLAN 上将不再有任何限制,大大提高了运维部署的便利性。
总结
- FULL NAT 模式不需要
LBIP
和realserver ip
在同一个网段; full nat
因为要更新sorce ip
所以性能正常比 nat 模式下降 10%
四、Keepalive
keepalive 起初是为 LVS
设计的,专门用来监控 lvs
各个服务节点的状态,后来加入了 vrrp
的功能,因此除了 lvs
,也可以作为其他服务(nginx
,haproxy
)的高可用软件。VRRP 是 virtual router redundancy protocal(虚拟路由器冗余协议) 的缩写。VRRP 的出现就是为了解决静态路由出现的单点故障,它能够保证网络可以不间断的稳定的运行。所以 keepalive 一方面具有 LVS cluster node healthcheck
功能,另一方面也具有 LVS director failover
。
五、Nginx 反向代理负载均衡
普通的负载均衡软件,如 LVS,其实现的功能只是对请求数据包的转发、传递,从负载均衡下的节点服务器来看,接收到的请求还是来自访问负载均衡器的客户端的真实用户;而反向代理就不一样了,反向代理服务器在接收访问用户请求后,会代理用户 重新发起请求代理下的节点服务器,最后把数据返回给客户端用户。在节点服务器看来,访问的节点服务器的客户端用户就是反向代理服务器,而非真实的网站访问用户。
1.upstream_module 和健康检测
ngx_http_upstream_module
是负载均衡模块,可以实现网站的负载均衡功能即节点的健康检查,upstream 模块
允许 Nginx 定义一组或多组节点服务器组,使用时可通过 proxy_pass
代理方式把网站的请求发送到事先定义好的对应 Upstream
组 的名字上。
upstream lvsServer{
server 191.168.1.11 weight=5 ;
server 191.168.1.22:82;
server example.com:8080 max_fails=2 fail_timeout=10s backup;
#域名的话需要解析的哦,内网记得 hosts
}
2021年Java中高级面试必备知识点总结
在这个部分总结了2019年到目前为止Java常见面试问题,取其面试核心编写成这份文档笔记,从中分析面试官的心理,摸清面试官的“套路”,可以说搞定90%以上的Java中高级面试没一点难度。
本节总结的内容涵盖了:消息队列、Redis缓存、分库分表、读写分离、设计高并发系统、分布式系统、高可用系统、SpringCloud微服务架构等一系列互联网主流高级技术的知识点。
目录:
(上述只是一个整体目录大纲,每个点里面都有如下所示的详细内容,从面试问题——分析面试官心理——剖析面试题——完美解答的一个过程)
部分内容:
对于每一个做技术的来说,学习是不能停止的,小编把2019年到目前为止Java的核心知识提炼出来了,无论你现在是处于什么阶段,如你所见,这份文档的内容无论是对于你找面试工作还是提升技术广度深度都是完美的。
不想被后浪淘汰的话,赶紧搞起来吧,高清完整版一共是888页,需要的话可以点赞+关注
网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。
需要这份系统化的资料的朋友,可以添加V获取:vip1024b (备注Java)
一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!
需要这份系统化的资料的朋友,可以添加V获取:vip1024b (备注Java)**
[外链图片转存中…(img-P8ZRGYU8-1713703159470)]
一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!