服务器集群
kobejayandy
十多年互联网产品研发经验,历经华为、腾讯、字节跳动等公司,主要从事后端技术研发及技术管理工作(andyjaykobe)
展开
-
基于Apache的Tomcat负载均衡和集群
反向代理负载均衡 (Apache+JK+Tomcat) 使用代理服务器可以将请求转发给内部的Web服务器,让代理服务器将请求均匀地转发给多台内部Web服务器之一上,从而达到负载均衡的目的。这种代理方式与普通的代理方式有所不同,标准代理方式是客户使用代理访问多个外部Web服务器,而这种代理方式是多个客户使用它访问内部Web服务器,因此也被称为反向代理模式。 Apache主要负责:负载均衡(L转载 2013-07-15 23:22:35 · 886 阅读 · 0 评论 -
服务器负载均衡的部署方式
负载均衡的部署方式,简单的可分为串接,单臂,透明和服务器直接返回4类。 1. 路 c串联路由模式 (Routed)路由部署方式中,通常服务器的网关需要指向负载均衡设备,这种情况下的流量处理最简单,负载均衡只做一次目标地址NAT(选择服务器时)和一次源地址NAT(响应客户端报文时)2. 单 单臂模式 (One-arm)单臂转载 2013-12-19 23:24:46 · 4508 阅读 · 0 评论 -
轻量级HTTP服务器Nginx(常用配置实例)
Nginx作为一个HTTP服务器,在功能实现方面和性能方面都表现得非常卓越,完全可以与Apache相媲美,几乎可以实现Apache的所有功能,下面就介绍一些Nginx常用的配置实例,具体包含虚拟主机配置、负载均衡配置、防盗链配置以及日志管理等。 一、 虚拟主机配置实例下面在Nginx中创建三个虚拟主机,需要说明的是,这里仅仅列出了虚拟主机配置部分。 http { serv转载 2014-02-20 23:32:46 · 1076 阅读 · 0 评论 -
Nginx+Tomcat实现单IP、多域名、多站点的访问
最近帮朋友做了两个网站,预算很小很小.小到两个网站只能跑在一台512M内存的公网服务器上(tomcat+mysql,由于内存太小了,只能把两个网站部署在同一个tomcat上),每个网站有自己的域名,初步考虑使有nginx做反向代理,把两个域名映射到相应的应用上。因此就有了标题所说的“nginx多域名单服务器单IP单Tomcat不同应用”上的配置问题。Nginx介绍的废话就不多说了,在这里把配置文件转载 2014-03-09 22:04:21 · 17525 阅读 · 1 评论 -
通过IP隧道实现虚拟服务器(VS/TUN)
在VS/NAT的集群系统中,请求和响应的数据报文都需要通过负载调度器,当真实服务器的数目在10台和20台之间时,负载调度器将成为整个集群系统的新瓶颈。大多数Internet服务都有这样的特点:请求报文较短而响应报文往往包含大量的数据。如果能将请求和响应分开处理,即在负载调度器中只负责调度请求而响应直接返回给客户,将极大地提高整个集群系统的吞吐量。IP隧道(IP tunneling)是将一个转载 2014-03-29 18:24:06 · 2312 阅读 · 0 评论 -
Nginx负载均衡和LVS负载均衡的比较分析
lvs和nginx都可以用作多机负载的方案,它们各有优缺,在生产环境中需要好好分析实际情况并加以利用。首先提醒,做技术切不可人云亦云,我云即你云;同时也不可太趋向保守,过于相信旧有方式而等别人来帮你做垫被测试。把所有即时听说到的好东西加以钻研,从而提高自己对技术的认知和水平,乃是一个好习惯。下面来分析一下两者:一、lvs的优势:1、抗负载能力强,因为lvs工作方式的转载 2014-05-03 23:43:48 · 2295 阅读 · 0 评论 -
Web基础架构:负载均衡和LVS
在大规模互联网应用中,负载均衡设备是必不可少的一个节点,源于互联网应用的高并发和大流量的冲击压力,我们通常会在服务端部署多个无状态的应用服务器和若干有状态的存储服务器(数据库、缓存等等)。一、负载均衡的作用负载均衡设备的任务就是作为应用服务器流量的入口,挑选最合适的一台服务器,将客户端的请求转发给它处理,实现客户端到真实服务端的透明转发。最近几年很火的「云计算」以及分布式架构,转载 2014-05-31 23:31:47 · 951 阅读 · 0 评论 -
LVS集群中的IP负载均衡技术
本文在分析服务器集群实现虚拟网络服务的相关技术上,详细描述了LVS集群中实现的三种IP负载均衡技术(VS/NAT、VS/TUN和VS/DR)的工作原理,以及它们的优缺点。1.前言在 前面文章中,讲述了可伸缩网络服务的几种结构,它们都需要一个前端的负载调度器(或者多个进行主从备份)。我们先分析实现虚拟网络服务的主要技术,指出 IP负载均衡技术是在负载调度器的实现技术中效率最高的。在已有的IP转载 2014-06-29 20:45:17 · 3042 阅读 · 0 评论 -
LVS工作原理以及工作模式简介
LVS(Linux Virtual Server虚拟服务器),它是一个开源项目,主要用于多服务器的负载均衡,它工作在网络层,可以实现高性能,高可用的服务器集群技术。它非常易用,配置很简单,且有多重调度方式。它稳定可靠,与keepalived配合即使在集群的服务器中某台服务器宕机或某应用无法工作也不能影响整体使用,因为可以及 时切换(LVS工作原理负载调度器(Load Balance转载 2015-08-20 19:22:21 · 1511 阅读 · 0 评论 -
kafka知识点整理
一、为什么需要消息系统1.解耦:允许你独立的扩展或修改两边的处理过程,只要确保它们遵守同样的接口约束。2.冗余:消息队列把数据进行持久化直到它们已经被完全处理,通过这一方式规避了数据丢失风险。许多消息队列所采用的”插入-获取-删除”范式中,在把一个消息从队列中删除之前,需要你的处理系统明确的指出该消息已经被处理完毕,从而确保你的数据被安全的保存直到你使用完毕。3.扩展性:转载 2017-03-25 20:01:50 · 965 阅读 · 1 评论 -
Kafka原理简介
背景介绍:Kafka 是一个消息系统,原本开发自 LinkedIn,用作 LinkedIn 的活动流(Activity Stream)和运营数据处理管道(Pipeline)的基础。现在它已被多家公司作为多种类型的数据管道和消息系统使用。活动流数据是几乎所有站点在对其网站使用情况做报表时都要用到的数据中最常规的部分。活动数据包括页面访问量(Page View)、被查看内容方面的信息以及搜索情转载 2017-03-26 19:42:39 · 3162 阅读 · 0 评论 -
学习笔记:The Log(我所读过的最好的一篇分布式技术文章)
前言这是一篇学习笔记。学习的材料来自Jay Kreps的一篇讲Log的博文。原文很长,但是我坚持看完了,收获颇多,也深深为Jay哥的技术能力、架构能力和对于分布式系统的理解之深刻所折服。同时也因为某些理解和Jay哥观点吻合而略沾沾自喜。Jay Kreps是前Linkedin的Principal Staff Engineer,现任Confluent公司的联合创始人和CEO,Kafka转载 2017-05-02 20:05:58 · 2626 阅读 · 0 评论 -
Docker入门简介
本文只是对Docker的概念做了较为详细的介绍,并不涉及一些像Docker环境的安装以及Docker的一些常见操作和命令。通过阅读本文你将知道一下概念:容器什么是Docker?Docker思想、特点Docker容器主要解决什么问题容器 VS 虚拟机Docker基本概念: 镜像(Image),容器(Container),仓库(Repository)一 先从认识容器开始1.1 什么是容器?先来看看容器...转载 2018-06-30 14:18:34 · 971 阅读 · 0 评论 -
Linux虚拟化平台检测
要想找出 Linux 系统运行在虚拟化平台中还是硬件服务器上,有多种方式可供大家选择,这主要取决于你的 hypervisor 或 container 环境。不同的虚拟化或容器技术会在其实例中引入不同的识别指纹,如:处理器厂商、特殊的 /proc 文件或虚拟网卡名称等。 另外通过 dmesg 显示启动序列,也可以找出 Linux 或 VPS 所使用虚拟化平台类型的一些线索。下面我们将介绍几个命令行工...转载 2018-07-08 17:01:08 · 2832 阅读 · 0 评论 -
常用的服务发现对比(Consul、Zookeeper、Etcd、Eureka)
这里就平时经常用到的服务发现的产品进行下特性的对比,首先看下结论:Feature Consul zookeeper etcd euerka 服务健康检查 服务状态,内存,硬盘等 (弱)长连接,keepalive 连接心跳 可配支持 多数据中心 支持 — — — kv存储服务 支持 支持 支持...转载 2019-01-27 21:43:09 · 1256 阅读 · 0 评论 -
服务器负载均衡的几种部署方式
负载均衡有三种部署方式:路由模式、桥接模式、服务直接返回模式。路由模式部署灵活,约60%的用户采用这种方式部署;桥接模式不改变现有的网络架构;服务直接返回(DSR)比较适合吞吐量大特别是内容分发的网络应用。约30%的用户采用这种模式。1、路由模式(推荐) 路由模式的部署方式如上图。服务器的网关必须设置成负载均衡机的LAN口地址,且与WAN口分署不同的逻辑网络。因此所有返回的流量也都经过转载 2013-12-19 23:07:27 · 3522 阅读 · 0 评论 -
大型网站--负载均衡架构
大型网站--负载均衡架构2013-10-14 08:08 by 贤达, 7213 阅读, 32 评论, 收藏, 编辑负载均衡 (Load Balancing) 负载均衡建立在现有网络结构之上,它提供了一种廉价有效透明的方法扩展网络设备和服务器的带宽、增加吞吐量、加强网络数据处理能力、提高网络的灵活性和可用性。大型网站负载均衡的利器全局负载均衡系统(GSLB)内容缓存转载 2013-12-18 23:39:50 · 1180 阅读 · 0 评论 -
大型网站后台架构的web server与缓存
网站的web server与缓存1.1 Web serverWebserver 用来解析HTTP协议。当web 服务器接收到一个HTTP请求时,会返回一个HTTP响应,例如送回一个HTML页面。为了处理一个请求,web服务器可以响应一个静态页面或者图片。进行页面跳转,或者把动态响应的产生委托给一些其它的程序完成,比如CGI,JSP,servlets,ASP,PHP脚本。转载 2013-12-10 23:47:38 · 1237 阅读 · 0 评论 -
负载均衡(LVS/HAProxy/Nginx)简介和对比
在网站发展的趋势对网络负载均衡的使用是随着网站规模的提升根据不同的阶段来使用不同的技术:一种是通过硬件来进行进行,常见的硬件有比较昂贵的NetScaler、F5、Radware和Array等商用的负载均衡器,它的优点就是有专业的维护团队来对这些服务进行维护、缺点就是花销太大,所以对于规模较小的网络服务来说暂时还没有需要使用;另外一种就是类似于LVS/HAProxy、Nginx的基于Linux的转载 2013-11-03 21:52:32 · 902 阅读 · 0 评论 -
高性能Web服务器 Nginx
Nginx(发音同 engine x)是一款轻量级的Web 服务器/反向代理服务器及电子邮件(IMAP/POP3)代理服务器,并在一个BSD-like 协议下发行。由俄罗斯的程序设计师Igor Sysoev所开发,最初供俄国大型的入口网站及搜寻引擎Rambler使用。 其特点是占有内存少,并发能力强,事实上Nginx的并发能力确实在同类型的网页伺服器中表现较好.目前中国大陆使用nginx网站用户转载 2013-11-04 23:22:48 · 1084 阅读 · 0 评论 -
三大WEB服务器对比分析Apache、Lighttpd、Nginx
一、软件介绍(apache lighttpd nginx)1、lighttpd Lighttpd是一个具有非常低的内存开销,cpu占用率低,效能好,以及丰富的模块等特点。lighttpd是众多OpenSource轻量级的web server中较为优秀的一个。支持FastCGI,CGI,Auth,输出压缩(output compress),URL重写,Alias等重要功能。 Li转载 2013-11-04 23:31:56 · 979 阅读 · 0 评论 -
高性能 HTTP服务器 qHttpd
qHttpd项目的目的是建立高度可定制的既可用于HTTP协议内容传递也可用于内部协议内容传递的HTTP服务器。你是否正在给你的软件项目寻找可定制的HTTP服务器?你是否在考虑开发用于软件内部通信与HTTP协议类似的通信协议?你是否想要修改标准的HTTP协议并加入你自己的方法以满足你的需求?如果你的答案是肯定的,qHttpd正好适合你。来看一下,它是如此的简单,快速和轻便。特性:支持转载 2013-11-04 23:27:51 · 1773 阅读 · 0 评论 -
高性能Web服务器 Lighttpd
Lighttpd 是一个德国人领导的开源Web服务器软件,其根本的目的是提供一个专门针对高性能网站,安全、快速、兼容性好并且灵活的web server环境。具有非常低的内存开销,cpu占用率低,效能好,以及丰富的模块等特点。Lighttpd是众多OpenSource轻量级的web server中较为优秀的一个。支持FastCGI, CGI, Auth, 输出压缩(output compress转载 2013-11-04 23:19:11 · 985 阅读 · 0 评论 -
高性能HTTP服务器 Apache
Apache HTTP Server(简称Apache)是Apache软件基金会的一个开放源码的网页服务器,可以在大多数计算机操作系统中运行,由于其多平台和安全性[1]被广泛使用,是最流行的Web服务器端软件之一。它快速、可靠并且可通过简单的API扩展,将Perl/Python等解释器编译到服务器中。Apache 起初由伊利诺伊大学香槟分校的国家超级电脑应用中心(NCSA)开发。此后,Apac转载 2013-11-04 23:29:08 · 1439 阅读 · 0 评论 -
HAProxy配置
前言Haproxy是一个负载均衡服务器,能够提供4层,7层代理,并能支持上万级别的连接,你可以直接在WEB服务器前端加上它,而不影响应用的访问,完全透明。安装$ wget http://haproxy.1wt.eu/download/1.4/src/haproxy-1.4.8.tar.gz$ tar -zxvf haproxy-1.4.8.tar.gz$ cd haproxy-1.转载 2013-11-06 09:46:28 · 875 阅读 · 0 评论 -
《分布式JAVA应用 基础与实践》 第七章 构建可伸缩的系统
通常将通过升级或增加单机机器的硬件来支撑访问量及数据量增长的方式称为垂直伸缩,将通过增加机器来支撑访问量和数据量的增长的方式称为水平伸缩。垂直伸缩实现难度较低,但机器的硬件是无法不断升级和增加,容易达到瓶颈;水平伸缩理论上没有瓶颈,但技术难度较高。两者各有一定的优点,因此在应用中通常可以混合采用。7.1 垂直伸缩垂直伸缩前,先要分析系统的瓶颈,针对性地根据瓶颈对硬件进行升级或增加。另外,需转载 2013-11-09 16:24:57 · 1113 阅读 · 0 评论 -
Linux负载均衡LVS原理技术详细讲解
一.LVS主从工作原理和网站架构 LVS在基本的生产环境中,都会同时运行在二台硬件相近的服务器上:LVS Router(主 LVS ),一个作为备份LVS(备份 LVS )。主 LVS 服务器在网站的前端起二个作用:(1. 均衡负载压力到真实服务器(如apache)上.(2. 检查后面真实服务器提供的服务是否正常.备份LVS 用来监控主LVS和备份主服务器,在当故障出现时主LV转载 2013-11-09 16:47:54 · 1371 阅读 · 0 评论 -
《分布式JAVA应用 基础与实践》 第六章 构建高可用的系统
对于互联网或企业中的大型应用而言,多数要求做到7*24小时不间断运行。实际上要完全做到不太可能,但可尽量接近,各大网站或大型应用在总结一年的运行状况时,通常会有当年的可用性为99.9%这样的内容。为实现类似的高可用,要避免系统中出现单点。6.1 避免系统中出现单点单点是指系统部署在单台机器上,一旦这台机器出现问题(硬件损坏,网络不通等),系统就不可用。解决单点最常见的方法是采用集群。采转载 2013-11-09 16:21:35 · 1279 阅读 · 0 评论 -
LVS集群中的IP负载均衡技术
本文在分析服务器集群实现虚拟网络服务的相关技术上,详细描述了LVS集群中实现的三种IP负载均衡技术(VS/NAT、VS/TUN和VS/DR)的工作原理,以及它们的优缺点。基于IP层负载均衡调度的解决方法用户通过虚拟IP地址(Virtual IPAddress)访问服务时,访问请求的报文会到达负载调度器,由它进行负载均衡调度,从一组真实服务器选出一个,将报文的目标地址VirtualI转载 2013-11-09 16:59:09 · 1218 阅读 · 0 评论 -
代理服务器 Squid
Squid cache(简称为Squid)是一个流行的自由软件(GNU通用公共许可证)的代理服务器和Web缓存服务器。Squid有广泛的用途,从作为网页服务器的前置cache服务器缓存相关请求来提高Web服务器的速度,到为一组人共享网络资源而缓存万维网,域名系统和其他网络搜索,到通过过滤流量帮助网络安全,到局域网通过代理上网。Squid主要设计用于在Unix一类系统运行。Squid的发展历史相转载 2013-11-10 22:24:28 · 626 阅读 · 0 评论 -
大型网站的监控、报警与故障转移
本章主要从大型网站的后台监控机制、报警机制和故障转移、服务切换等内容来论述。然后给出一个监控、报警和故障转移的解决方案。1.1 监控预警现代大型互联网公司主要有电子商务公司、社交网站公司和搜索引擎公司。在电子商务网站公司中,taobao.com的点击量在国内是最高的。日点击量20亿以上。而这个点击量还不是均匀分不到24个小时,而是分布在几个时间段。因为人们的购物时间是集中在几个不同转载 2013-12-10 23:46:24 · 1725 阅读 · 0 评论 -
大型网站的负载均衡器、db proxy和db
大型网站的负载均衡器、db proxy和db本文主要分析网站后台架构中的负载均衡器,企业常用的硬件负载均衡器软件负载均衡器、数据库代理服务器和数据库。1.1 负载均衡在大型网站部署中,负载均衡至少有三层部署。第一层为web server或者缓存代理之上的负载均衡,第二层为数据库之上的负载均衡,第三层为存储设备之上的负载均衡。在第一层部署中,最常使用的是硬件负载均衡器转载 2013-12-10 23:47:01 · 1048 阅读 · 0 评论 -
RocketMQ、Kafka、RabbitMQ的详细对比
引言分布式系统中,我们广泛运用消息中间件进行系统间的数据交换,便于异步解耦。现在开源的消息中间件有很多,目前对Kafka、RabbitMQ、RocketMQ这三个消息中间件做下对比分析。- - kafka RocketMQ RabbitMQ 定位 设计定位 系统间的数据流管道,实时数据处理。 例如:常规的消息系统、网站活性跟踪,监控数据,...转载 2019-08-26 20:09:02 · 1143 阅读 · 0 评论