大型网站架构
文章平均质量分 63
p312011150
这个作者很懒,什么都没留下…
展开
-
大型项目架构演进过程及思考的点
本文来自 Qunar 技术沙龙,版权归原作者所有,未经许可,请勿转载。 作者简介:吴昊,2014年加入 Qunar,目前在去哪儿网玩乐事业部担任 Java 开发工程师,热爱技术,喜欢分享。 原文地址:http://mp.weixin.qq.com/s/Mpc-S_bCOXKWlDokeCljfg【CSDN 有奖征稿啦】技术之路,共同进步,有优质移动开发、VR/AR/MR、物联网原创转载 2017-04-21 13:48:16 · 2702 阅读 · 2 评论 -
静态内容实现缓存的七种不同方法
静态内容实现缓存的七种不同方法 在商业世界中,人们常说“现金为王”。然而,在技术世界里,我们却说“缓存为王”。 从浏览器到应用前端、应用后端、数据库,每一层都可以通过缓存来显著地提高系统的扩展能力,改善系统的响应能力,同时减少系统的负担。互联网平台上的内容可以分为静态和动态两种。静态内容指那些不经常改变的文本和图像。动态内容是指随着时间的推移,不断变化的内容。本文主要讨论静转载 2017-04-26 17:29:54 · 420 阅读 · 0 评论 -
淘宝、天猫、腾讯网站系统架构
淘宝、天猫、腾讯网站系统架构 (2016-06-02 17:19:12) 前言一个成熟的大型网站(如淘宝、天猫、腾讯等)的系统架构并不是一开始设计时就具备完整的高性能、高可用、高伸缩等特性的,它是随着用户量的增加,业务功能的扩展逐渐演变完善的,在这个过程中,开发模式、技术架构、设计思想也发生了很大的变化,就连技术转载 2017-09-21 11:45:14 · 9619 阅读 · 0 评论 -
Web负载均衡的几种实现方式
摘要:负载均衡(Load Balance)是集群技术(Cluster)的一种应用。负载均衡可以将工作任务分摊到多个处理单元,从而提高并发处理能力。目前最常见的负载均衡应用是Web负载均衡。根据实现的原理不同,常见的web负载均衡技术包括:DNS轮询、IP负载均衡和CDN。其中IP负载均衡可以使用硬件设备或软件方式来实现。什么是web负载均衡转载 2018-01-10 18:05:11 · 190 阅读 · 0 评论 -
Java集群--大型网站是怎样解决多用户高并发访问的
Java集群--大型网站是怎样解决多用户高并发访问的 时间过得真快,再次登录博客园来写博,才发现距离上次的写博时间已经过去了一个月了,虽然是因为自己找了实习,但这也说明自己对时间的掌控能力还是没那么的强,哈哈,看来还需不断的努力啊!(这里得特别说明一下本人面试的一些感受:做我们IT这一行,一定要使自己精于某个领域,再不断的去涉猎其他的领域,更重要的是学会找出各个领域的相融点,这跟我们学习...转载 2018-03-26 13:14:55 · 1291 阅读 · 0 评论 -
Tomcat的三种模式及并发调优
tomcat的运行模式有3种,即BIO、NIO和APR。下面就这三种分别介绍:1、bio默认的模式,性能非常低下,没有经过任何优化处理和支持.2、nio利用java的异步io护理技术,noblocking IO技术.想运行在该模式下,直接修改server.xml里的Connector节点,修改protocol为<Connector port=”80″ protocol=”org.apache...转载 2018-03-26 13:17:26 · 224 阅读 · 0 评论 -
亲们,你们的tomcat并发能到多少?
摘要: 麻,再改进一下,估计最多能到2000多,曾听某网友说,调优后的tomcat项目能到3000,不知道是怎么做的。。。 哪位亲给说说。。。配置:Intel Xeon E5 2.4G*6核,16G内存,Redhat Linux X64,jdk 7(server),tomcat 8.9改了tomcat 内存配置,开启了nio+epoll,结果仍不好看。。。vi bin/catalina.sh[ht...转载 2018-03-26 13:19:29 · 2062 阅读 · 0 评论 -
Nginx负载均衡配置
原文链接:http://blog.csdn.net/xyang81/article/details/51702900Nginx安装请参考:《Nginx源码安装》 负载均衡的目的是为了解决单个节点压力过大,造成Web服务响应过慢,严重的情况下导致服务瘫痪,无法正常提供服务。春节期间在12306网站上买过火车票的朋友应该深有体会,有时查询一张火车票都会很慢,甚至整个网页都卡住不动了。通常一个...转载 2018-03-26 13:22:59 · 163 阅读 · 0 评论 -
nginx实现请求的负载均衡 + keepalived实现nginx的高可用
前言 使用集群是网站解决高并发、海量数据问题的常用手段。当一台服务器的处理能力、存储空间不足时,不要企图去换更强大的服务器,对大型网站而言,不管多么强大的服务器,都满足不了网站持续增长的业务需求。这种情况下,更恰当的做法是增加一台服务器分担原有服务器的访问及存储压力。通过负载均衡调度服务器,将来自浏览器的访问请求分发到应用服务器集群中的任何一台服务器上,如果有更多的用户,就在集群中加入更多的应用...转载 2018-03-26 13:26:23 · 197 阅读 · 0 评论 -
spring-session实现分布式集群session的共享
原文:http://www.cnblogs.com/youzhibing/p/7348337.html前言 HttpSession是通过Servlet容器创建和管理的,像Tomcat/Jetty都是保存在内存中的。但是我们把应用搭建成分布式的集群,然后利用LVS或Nginx做负载均衡,那么来自同一用户的Http请求将有可能被分发到多个不同的应用中。那问题来了,如何保证不同的应用能够共享同一份se...转载 2018-03-26 13:29:31 · 258 阅读 · 0 评论 -
java获取JVM的CPU占用率、内存占用率、线程数及服务器的网口吞吐率、磁盘读写速率
怎么说呢,本人菜鸟一枚,费了几天时间,终于做了一个用java获取JVM的CPU占用率、内存占用率、线程数及服务器的网口吞吐率、磁盘读写速率的实现。其中windows环境下获取jvm 的cpu占用率这里是参考网上别人的东西(在此感谢提供参考的网友),其他的都是基于自己的想法做出来的。该工具类亲测在win7 64位系统和CentOS6系统没有问题,其他的暂时没有测过,欢迎高手指教,勿喷勿喷,感谢手...转载 2018-03-27 09:55:08 · 2480 阅读 · 0 评论 -
MySQL主主数据同步
原文链接:http://blog.csdn.net/xyang81/article/details/52562571MySQL主主同步和主从同步的原理一样,只是双方都是主从角色。环境操作系统版本:CentOS7 64位 MySQL版本:mysql5.6.33 节点1IP:192.168.1.205 主机名:edu-mysql-01 节点2IP:192.168.1.206 主机名:edu-mysql...转载 2018-03-28 17:52:03 · 307 阅读 · 0 评论 -
CDN缓存服务器现状,squid、nginx、trafficserver、ATS性能测试
今天谈一个问题,目前cache软件在业界的使用现状。cache系统其实最大的使用场景,还是主要集中在CDN厂商里。大概在2010年之前,各大CDN厂商基本清一色的使用squid。那时候的squid是绝对的主力。squid的作为cache领域的鼻祖,正是由于历史的久远,很多近10年左右流行起来的很多系统特性,它本身并不支持。比如sendfile,splice和多核等方面的支持,由于这些特性属于核心架...转载 2018-03-28 18:09:55 · 1209 阅读 · 0 评论 -
Redis主从复制
概述一般来说,要将Redis运用于工程项目中,只使用一台Redis是万万不能的,原因如下:从结构上,单个Redis服务器会发生单点故障,并且一台服务器需要处理所有的请求负载,压力较大;从容量上,单个Redis服务器内存容量有限,就算一台Redis服务器内容容量为256G,也不能将所有内容用作Redis存储内存,一般来说,单台Redis最大使用内存不应该超过20G。本文先讨论第一点的解决方案:Red...转载 2018-03-28 18:36:37 · 134 阅读 · 0 评论 -
搜索引擎Solr环境搭建详解
Solr服务器采用java5开发的,是基于Lucene全文搜索的。要想搭建Solr,首先进行java环境的配置,安装对应的jdk以及tomcat,在此就不多讲。以下是在jdk1.7和tomcat1.7的环境下搭建最新版本的solr4.10.3。具体步骤如下:1.到官网http://lucene.apache.org/solr/mirrors-solr-latest-redir.html下载.2.建...转载 2018-03-28 18:38:46 · 252 阅读 · 1 评论 -
dubbo的负载均衡的几种算法
Random LoadBalance随机,按权重设置随机概率。在一个截面上碰撞的概率高,但调用量越大分布越均匀,而且按概率使用权重后也比较均匀,有利于动态调整提供者权重。RoundRobin LoadBalance轮循,按公约后的权重设置轮循比率。存在慢的提供者累积请求问题,比如:第二台机器很慢,但没挂,当请求调到第二台时就卡在那,久而久之,所有请求都卡在调到第二台上。LeastActive Lo...转载 2018-03-28 18:53:56 · 224 阅读 · 0 评论 -
Weblogic 12c 集群部署和session复制
https://blog.csdn.net/yulei_qq/article/details/52778865在上一篇Weblogic12c集群搭建的基础上,这一篇介绍Weblogic12c集群应用的部署和session复制.1、启动服务首先在weblogic12c控制台,启动受托管服务server1、server2、server3.2、将要部署的应用打包成war文件.我用的是MyEclipse做...转载 2018-05-09 16:30:51 · 672 阅读 · 0 评论 -
weblogic 12C集群环境下的session复制
https://www.cnblogs.com/interdrp/p/4109748.htmlweblogic 12C集群环境下的session复制做过weblogic集群环境的人应该都清楚,要想实现session同步,必须满足两个条件:第一,在weblogic.xml里面增加session同步相关的代码;第二,所有放入session的类都要序列化。 但是,我终于还是栽了。两个条件明明都满足...转载 2018-05-09 17:10:08 · 473 阅读 · 0 评论 -
weblogic.xml 部署描述符元素
https://blog.csdn.net/shimiso/article/details/7979539weblogic.xml 部署描述符元素本文档提供 WebLogic Server 特定的部署描述符 weblogic.xml 中的元素的完整参考。如果您的 Web 应用程序不包含 weblogic.xml 部署描述符,WebLogic Server 会自动选择部署描述符元素的默认值。要查看w...转载 2018-05-09 18:28:36 · 698 阅读 · 0 评论 -
详解Oracle partition分区表
https://blog.csdn.net/zc309087694/article/details/52159893详解Oracle partition分区表 随着表中行数的增多,管理和性能性能影响也将随之增加。备份将要花费更多时间,恢复也将 要花费更说的时间,对整个数据表的查询也将花费更多时间。通过把一个表中的行分为几个部分,可以减少大型表的管理和性能问题,以这种方式划分发表数据的方法称为对表...转载 2018-05-10 10:13:58 · 6941 阅读 · 0 评论 -
MySQL的分区、分表、集群
1.分区mysql数据库中的数据是以文件的形势存在磁盘上的,默认放在/mysql/data下面(可以通过my.cnf中的datadir来查看),一张表主要对应着三个文件,一个是frm存放表结构的,一个是myd存放表数据的,一个是myi存表索引的。如果一张表的数据量太大的话,那么myd,myi就会变的很大,查找数据就会变的很慢,这个时候我们可以利用mysql的分区功能,在物理上将这一张表对应的三...转载 2018-05-10 10:15:06 · 185 阅读 · 0 评论 -
mysql性能优化
数据库的操作越来越成为整个应用的性能瓶颈了,这点对于Web应用尤其明显。关于数据库的性能,这并不只是DBA才需要担心的事,而这更是我 们程序员需要去关注的事情1.为查询缓存优化你的查询mysql> show variables like '%query_cache%'; (query_cache_type 为 ON 表示已经开启)+----------------------------...转载 2018-05-10 10:16:05 · 157 阅读 · 0 评论 -
实战:上亿数据如何秒查?
最近在忙着优化集团公司的一个报表。优化完成后,报表查询速度有从半小时以上(甚至查不出)到秒查的质变。从修改SQL查询语句逻辑到决定创建存储过程实现,花了我3天多的时间,在此总结一下,希望对朋友们有帮助。数据背景首先,项目是西门子中国在我司实施部署的MES项目,由于项目是在产线上运作(3 years+),数据累积很大。在项目的数据库中,大概上亿条数据的表有5个以上,千万级数据的表10个以上,百万级数...转载 2018-05-10 10:19:15 · 16405 阅读 · 3 评论 -
史上最详细的Hadoop环境搭建
2017年10月10日 15:23:59阅读数:37070GitChat 作者:鸣宇淳 原文: 史上最详细的Hadoop环境搭建 关注公众号:GitChat 技术杂谈,一本正经的讲技术 【不要错过文末活动哦】前言Hadoop在大数据技术体系中的地位至关重要,Hadoop是大数据技术的基础,对Hadoop基础知识的掌握的扎实程度,会决定在大数据技术道路上走多远。这是一篇入门文章,Hadoop的学习方...转载 2018-05-10 10:24:16 · 7267 阅读 · 2 评论 -
什么是Solr
Solr 是Apache下的一个顶级开源项目,采用Java开发,它是基于Lucene的全文搜索服务器。Solr提供了比Lucene更为丰富的查询语言,同时实现了可配置、可扩展,并对索引、搜索性能进行了优化。Solr可以独立运行,运行在Jetty、Tomcat等这些Servlet容器中,Solr 索引的实现方法很简单,用 POST 方法向 Solr 服务器发送一个描述 Field 及其内容的 XML...转载 2018-05-10 10:25:28 · 277 阅读 · 0 评论 -
HBase详细概述
本文首先简单介绍了HBase,然后重点讲述了HBase的高并发和实时处理数据 、HBase数据模型、HBase物理存储、HBase系统架构,HBase调优、HBase Shell访问等。不过在此之前,你可以先了解 Hadoop生态系统 ,若想运行HBase,则需要先搭建好Hadoop集群环境,可以参考此文搭建5个节点的hadoop集群环境(CDH5) 。好了,让我们来学习HBase吧!HBase简...转载 2018-05-10 10:27:31 · 691 阅读 · 0 评论 -
Kylin介绍 (很有用)
转:http://blog.csdn.net/yu616568/article/details/48103415 Kylin是ebay开发的一套OLAP系统,与Mondrian不同的是,它是一个MOLAP系统,主要用于支持大数据生态圈的数据分析业务,它主要是通过预计算的方式将用户设定的多维立方体缓存到HBase中(目前还仅支持hbase),这段时间对mondrian和kylin都进行了使用,...转载 2018-05-10 10:29:08 · 2098 阅读 · 0 评论 -
XSS攻击的三种基本形式解析
原文转载来自:http://www.cnblogs.com/lovesong/p/5199623.htmlXSS(cross-site scripting跨域脚本攻击)攻击是最常见的Web攻击,其重点是“跨域”和“客户端执行”。有人将XSS攻击分为三种,分别是:1. Reflected XSS(基于反射的XSS攻击)2. Stored XSS(基于存储的XSS攻击)3. DOM-based or ...转载 2018-05-11 09:38:01 · 1502 阅读 · 0 评论 -
Windows环境下配置Apache2.4+Tomcat7的负载均衡配置
准备工作Windows Server 2008 R2 Enterprise(2.40GH,8GB,64Bit,192.168.10.212)2台Ubuntu 10.04.4(192.168.10.98,192.168.10.137)JDK1.7.80Tomcat7.0.68Apache2.4.4*解释一下:在Windows上安装Apache,在Ubuntu上安装Tomcat。首先,对于...转载 2018-05-11 12:21:20 · 216 阅读 · 0 评论 -
我的自动化测试历程(Selenium+TestNG+Java+ReportNG+Jenkins)
测试环境:Java+Selenium+TestNG,Jenkins持续集成。测试代码代码结构采用页面对象模型(Page Object),减少UI修改后,对代码的影响。Java编写,采用TestNG测试框架。先说点概念的:Selenium Selenium是一套完整的Web应用程序测试系统,它包含了测试的录制(Selenium IDE)、编写及运行(Selenium Remote Control)和...转载 2018-05-29 18:05:07 · 4991 阅读 · 1 评论 -
一些好的博客
http://www.inbreak.net/archives/349https://www.cnblogs.com/deng-cc/p/8064481.html转载 2018-07-17 11:59:57 · 105 阅读 · 0 评论 -
三大主流软件负载均衡器对比(LVS VS Nginx VS Haproxy)
LVS:1、抗负载能力强。抗负载能力强、性能高,能达到F5硬件的60%;对内存和cpu资源消耗比较低2、工作在网络4层,通过vrrp协议转发(仅作分发之用),具体的流量由linux内核处理,因此没有流量的产生。2、稳定性、可靠性好,自身有完美的热备方案;(如:LVS+Keepalived)3、应用范围比较广,可以对所有应用做负载均衡;4、不支持正则处理,不能做动静分离。5、支持负载均衡...转载 2018-07-23 10:38:06 · 204 阅读 · 1 评论 -
京东基于DPDK技术的高性能四层负载均衡器SKYLB
编辑推荐: 本文来自于京东商城基础平台部,本文主要介绍了京东商城设计和实践的一套高可靠,高性能的负载均衡器,我们命名为SKYLB。 摘要 随着京东业务的高速增长,作为应用入口的负载均衡,大流量大并发带来的挑战越来越严峻。本文主要介绍了京东商城设计和实践的一套高可靠,高性能的负载均衡器,...转载 2018-07-23 10:39:48 · 1486 阅读 · 0 评论 -
Nginx/LVS/HAProxy负载均衡软件的优缺点详解
本人都在多个项目中实施过,参考了一些资料,结合自己的一些使用经验,总结一下。一般对负载均衡的使用是随着网站规模的提升根据不同的阶段来使用不同的技术。具体的应用需求还得具体分析,如果是中小型的Web应用,比如日PV小于1000万,用Nginx就完全可以了;如果机器不少,可以用DNS轮询,LVS所耗费的机器还是比较多的;大型网站或重要的服务,且服务器比较多时,可以考虑用LVS。一种是通过硬件来...转载 2018-07-23 10:51:02 · 118 阅读 · 0 评论 -
nginx负载均衡单点解决方案
Nginx有很强代理功能,但是一台nginx就形成了单点,现在使用keepalived来解决这个问题,keepalived的故障转移时间很短.Nginx+keepalived双机实现nginx反向代理服务的高可用,一台nginx挂掉之后不影响应用也不影响内网访问外网。 keepalived它是一个基于VRRP协议来实现的WEB服务高可用方案,可以利用其来避免单点故障。一个WEB服务至...转载 2018-07-23 10:52:02 · 595 阅读 · 0 评论 -
Linux服务器集群系统(一)
原文地址: http://www.linuxvirtualserver.org/zh/lvs1.htmlLVS项目介绍章文嵩 (wensong@linux-vs.org)2002 年 3 月本文介绍了Linux服务器集群系统--LVS(Linux Virtual Server)项目的产生背景和目标,并描述了LVS服务器集群框架及目前提供的软件,列举LVS集群系统的特点和一些实际应用,...转载 2018-07-23 10:54:25 · 303 阅读 · 0 评论 -
Linux服务器集群系统(二)
LVS集群的体系结构章文嵩 (wensong@linux-vs.org) 2002 年 4 月本文主要介绍了LVS集群的体系结构。先给出LVS集群的通用体系结构,并讨论了其的设计原则和相应的特点;最后将LVS集群应用于建立可伸缩的Web、Media、Cache和Mail等网络服务。1.引言 在过去的十几年中,Internet从几个研究机构相连为信息共享的网络发展成为拥有大量应用和服...转载 2018-07-23 10:55:00 · 179 阅读 · 0 评论 -
Linux服务器集群系统(三)
LVS集群中的IP负载均衡技术章文嵩 (wensong@linux-vs.org) 2002 年 4 月本文在分析服务器集群实现虚拟网络服务的相关技术上,详细描述了LVS集群中实现的三种IP负载均衡技术(VS/NAT、VS/TUN和VS/DR)的工作原理,以及它们的优缺点。1.前言在 前面文章中,讲述了可伸缩网络服务的几种结构,它们都需要一个前端的负载调度器(或者多个进行主从备份)...转载 2018-07-23 10:55:37 · 1095 阅读 · 0 评论 -
Linux服务器集群系统(四)
http://www.linuxvirtualserver.org/zh/lvs4.htmlLVS集群的负载调度章文嵩 (wensong@linux-vs.org) 2002 年 5 月本文主要讲述了LVS集群的IP负载均衡软件IPVS在内核中实现的各种连接调度算法。针对请求的服务时间变化很大,给出一个动态反馈负载均衡算法,它结合内核中的加权连接调度算法,根据动态反馈回来的负载信息来...转载 2018-07-23 10:56:47 · 316 阅读 · 0 评论 -
Web安全相关(二):跨站请求伪造(CSRF/XSRF)
https://www.cnblogs.com/Erik_Xu/p/5481441.html简介 CSRF(Cross-site request forgery跨站请求伪造,也被称为“One Click Attack”或者Session Riding,通常缩写为CSRF或者XSRF,是一种对网站的恶意利用。尽管听起来像跨站脚本(XSS),但它与XSS非常不同,并且攻击方式几乎相左。XSS...转载 2018-07-23 14:14:32 · 329 阅读 · 0 评论