在准备C4比赛的过程中遇到了一些盲点,特此来记录成长过程:
1.关于CDN(content delivery network)
http://www.cnblogs.com/rayray/p/3553696.html
CDN=更智能的镜像+缓存+流量导流
可用BIND做DNS解析,用纯真IP数据库,用LVS做4层负载均衡,用Nginx,Varnish,Squid,Apache TrafficServer做7层负载均衡和cache。但是在网站达到一定规模之前建议用官方的cdn服务。
CDN的基本思路:
是尽可能避开互联网上有可能影响数据传输速度和稳定性的瓶颈和环节,
使内容传输的更快、更稳定。
它是通过网络各处放置节点服务器所构成的现有互联网基础之上的一层智能虚拟网
CDN实时根据网络流量以及各节点的连接、负载状况以及到用户的距离和响应时间等综合信息
重新导向用户的请求到最近的服务节点上
CDN解决的问题:
- 解决高流量、大并发
- 解决南北互联问题
- 访问加速(CDN有缓存技术)
- 降低运营成本(源站放在BGP机房,缓存服务器放在费用较低的地方)
- 提高网站的可用性
- 防DDoS(因为攻击被分配到了不同的物理服务器)
CDN的组成:
- 源站
- 缓存服务器(核心缓存服务器+边缘缓存服务器)
- 智能DNS(核心):根据用户的来源,重新导向到较近/合适的缓存服务器
- 客户端
2.关于负载均衡的方式
1)基于HTTP重定向负载均衡(相应码302):浏览器发送请教到负载均衡服务器,服务器根据算法找到一台服务主机,然后在相应码中返回302及实际的ip地址,浏览器收到请教后进行目标ip重定向访问,此方法实现较简单,但是需要两次交互才能得到结果,相应时间长,速度慢。
2)基于DNS域名解析服务进行负载均衡:DBS负载均衡一般DNS解析服务商都会有提供,浏览器请教域名时,域名下配置了多台真实的主机地址,浏览器访问域名时,DNS解析找到可服务的主机IP进行服务,把处理结果返回给用户,一般的大型网站都使用这种方式进行一级负载均衡。
3)反向代理负载均衡(一般使用nginx或apache):软件负载均衡一般作为分发器,所有服务请教经过应用软件类nginx,nginx根据请教进行不同真实主机服务的分发请求来达到负载均衡的目标,配置简单但是需要对负载均衡的应用服务进行集成搭建,当前网站使用这种方法的较多。
4)IP负载均衡(在内核进程完成数据分发,性能比反向代理好),网络层进行负载均衡,但是最大的吞吐量受限于负载均衡器的网卡带宽。
5)链路层级的负载均衡:多台服务器地址改成与负载均衡网关同样的虚拟ip,客户端访问网关服务器,网关服务器修改mac地址,转到真实的服务mac主机上,mac因为虚拟ip和实际访问的ip一样,可以能正常处理浏览器的请求,当下比较知名的为LVS(linux virtual server)
3.负载均衡的实现算法
注:目前听说过的算法:蚁群算法,模拟退火算法,哈希随机数再散列
4.输入网址点击回车之后发生的事:
1. 在浏览器中输入www.qq.com域名,操作系统会先检查自己本地的hosts文件是否有这个网址映射关系,如果有,就先调用这个IP地址映射,完成域名解析。
2. 如果hosts里没有这个域名的映射,则查找本地DNS解析器缓存,是否有这个网址映射关系,如果有,直接返回,完成域名解析。
3. 如果hosts与本地DNS解析器缓存都没有相应的网址映射关系,首先会找TCP/IP参数中设置的首选DNS服务器,在此我们叫它本地DNS服务器,此服务器收到查询时,如果要查询的域名,包含在本地配置区域资源中,则返回解析结果给客户机,完成域名解析,此解析具有权威性。
4. 如果要查询的域名,不由本地DNS服务器区域解析,但该服务器已缓存了此网址映射关系,则调用这个IP地址映射,完成域名解析,此解析不具有权威性。
5. 如果本地DNS服务器本地区域文件与缓存解析都失效,则根据本地DNS服务器的设置(是否设置转发器)进行查询,如果未用转发模式,本地DNS就把请求发至 “根DNS服务器”,“根DNS服务器”收到请求后会判断这个域名(.com)是谁来授权管理,并会返回一个负责该顶级域名服务器的一个IP。本地DNS服务器收到IP信息后,将会联系负责.com域的这台服务器。这台负责.com域的服务器收到请求后,如果自己无法解析,它就会找一个管理.com域的下一级DNS服务器地址(qq.com)给本地DNS服务器。当本地DNS服务器收到这个地址后,就会找qq.com域服务器,重复上面的动作,进行查询,直至找到www.qq.com主机。
6. 如果用的是转发模式,此DNS服务器就会把请求转发至上一级DNS服务器,由上一级服务器进行解析,上一级服务器如果不能解析,或找根DNS或把转请求转至上上级,以此循环。不管是本地DNS服务器用是是转发,还是根提示,最后都是把结果返回给本地DNS服务器,由此DNS服务器再返回给客户机。
5.Cache代理
1)squid作为web服务
2)内容缓存到内存和本地文件
3)页面访问速度极高
7.智能DNS
1)智能的匹配线路和位置,
2)常使用bind进行实施