负载均衡/集群
文章平均质量分 85
slimina
这个作者很懒,什么都没留下…
展开
-
基于zookeeper、连接池、Failover/LoadBalance等改造Thrift 服务化
对于Thrift服务化的改造,主要是客户端,可以从如下几个方面进行:1.服务端的服务注册,客户端自动发现,无需手工修改配置,这里我们使用zookeeper,但由于zookeeper本身提供的客户端使用较为复杂,因此采用curator-recipes工具类进行处理服务的注册与发现。2.客户端使用连接池对服务调用进行管理,提升性能,这里我们使用Apache Commons项目commons-pool,可以大大减少代码的复杂度。3.关于Failover/LoadBalance,由于zookeeper的wat原创 2015-03-08 10:01:40 · 19976 阅读 · 18 评论 -
Nginx https加密以及nginx日志配置与管理
转载:http://www.2cto.com/os/201303/192409.html使用Nginx的优点Nginx作为WEB服务器,Nginx处理静态文件、索引文件、自动索引的效率非常高。Nginx作为代理服务器,Nginx可以实现无缓存的反向代理,提高网站的性能Nginx作为负载均衡服务器,内部可以支持PHP、也可以支持HTTP代理服务器对外进行服务,同时还支持简单的容错转载 2014-02-25 10:39:04 · 2448 阅读 · 0 评论 -
LVS、Nginx、HAProxy优缺点
搭建负载均衡高可用环境相对简单,主要是要理解其中原理。此文描述了三种负载均衡器的优缺点,以便在实际的生产应用中,按需求取舍。转载 2015-02-07 17:09:18 · 2157 阅读 · 0 评论 -
nginx负载均衡的分配方式
nginx的upstream目前支持的5种方式的分配1、轮询(默认)每个请求按时间顺序逐一分配到不同的后端服务器,如果后端服务器down掉,能自动剔除。upstream backserver {server 192.168.0.14;server 192.168.0.15;}2、weight指定轮询几率,weight和访问比率成正比,用于后端服务器性能不均的转载 2014-01-02 10:42:09 · 1369 阅读 · 0 评论 -
Keepalived+nginx实现双主高可用负载均衡
Nginx+keepalived高可用有两种配置方案:1、Nginx+keepalived 主从配置这种方案,使用一个vip地址,前端使用2台机器,一台做主,一台做备,但同时只有一台机器工作,另一台备份机器在主机器不出现故障的时候,永远处于浪费状态,对于服务器不多的网站,该方案不经济实惠,所以本次不予采用。2、Nginx+keepalived 双主配置这种方案,使用两个vip地址,前端使用2台机器,互为主备,同时有两台机器工作,当其中一台机器出现故障,两台机器的请求转移到一台机器负担,非常适合于当前原创 2015-02-07 16:58:45 · 4164 阅读 · 0 评论 -
Nginx启动、停止、重启、升级操作命令
1.启动命令nginx -c /usr/nginx/conf/nginx.conf-c参数指定了要加载的nginx配置文件路径。nginx -p /usr/nginx/-p参数指定了nginx安装配置路径。 2.停止命令停止操作是通过向nginx进程发送信号(什么是信号请参阅linux文章)来进行的步骤1:查询nginx主进程号ps -ef | grep ngi转载 2015-02-27 20:35:52 · 1154 阅读 · 0 评论 -
nginx静态动态分离
因tomcat处理静态资源的速度比较慢,所以首先想到的就是把所有静态资源(JS,CSS,image,swf)提到单独的服务器,用更加快速的HTTP服务器,这里选择了nginx了,nginx相比apache,更加轻量级,配置更加简单,而且nginx不仅仅是高性能的HTTP服务器,还是高性能的反向代理服务器。目前很多大型网站都使用了nginx,新浪、网易、QQ等都使用了ngin转载 2014-01-02 10:41:07 · 3827 阅读 · 0 评论 -
Nginx动态加载新的配置文件
刷新了一下nginx的配置文件,禁止在403,404等错误页面显示nginx的版本号,不过每次都要停止Nginx 再启动Nginx 感觉实在麻烦。搜索一下资料,终于找到一个很简单的命令了,那就是 kill -HUP pid不过首先要查看下进程的PID值 输入ps aux |grep nginx得到下面的结果root 2078 0.0 0.5 4520 75转载 2014-01-03 10:15:39 · 5642 阅读 · 0 评论 -
nginx负载均衡的分配方式
nginx的upstream目前支持的5种方式的分配1、轮询(默认)每个请求按时间顺序逐一分配到不同的后端服务器,如果后端服务器down掉,能自动剔除。upstream backserver {server 192.168.0.14;server 192.168.0.15;}2、weight指定轮询几率,weight和访问比率成正比,用于后端服务器性能不均的转载 2014-01-16 11:37:19 · 1701 阅读 · 0 评论 -
几种反向代理 服务器比较
软件名称性能功能过滤规则配置Squid不能多核是硬伤;磁盘缓存容量有优势;性能中等多;支持ACL角色控制;支持ICP缓存协议支持外部文件读取及热加载;支持热启动Varnish多核支持;内存缓存;性能强够用;支持集群,但不支持ICP集群;支持后端存活检查转载 2014-02-18 09:08:05 · 15529 阅读 · 1 评论 -
一个nginx启动关闭重启的shell脚本
#! /bin/sh### BEGIN INIT INFO# Provides: Nginx-php-fpm(fastcgi)# Required-Start: $all# Required-Stop: $all# Default-Start: 3 5# Default-Stop: 0 1 6# Short-D转载 2014-01-03 10:16:34 · 2729 阅读 · 0 评论 -
LVS+Keepalived实现高可用负载均衡
Keepalived在这里主要用作RealServer的健康状态检查以及LoadBalance主机和BackUP主机之间failover的实现。原创 2015-02-07 13:44:31 · 1258 阅读 · 0 评论 -
nginx非root用户安装
nginx可以使用各平台的默认包来安装,本文是介绍使用源码编译安装,包括具体的编译参数信息。安装开始前,编译环境gcc g++ 开发库之类的需要提前装好,这里默认你已经装好。一般我们都需要先装pcre, zlib,前者为了重写rewrite,后者为了gzip压缩。Centos:使用root用户登录安装 pcre 、zlib和opensslyum instal原创 2014-01-02 10:51:08 · 10992 阅读 · 3 评论 -
系统技术架构图
系统技术架构图:nginx+keepalive负载均衡 ,web服务(业务web服务、单点登录)集群,业务服务(订单、基础资料等等)集群,共享缓存集群,MQ集群,数据库集群(关系数据库、mongodb)原创 2015-07-23 17:36:58 · 17020 阅读 · 0 评论 -
LVS+keepalived+nginx实现双机热备负载均衡
LVS+Keepalived+Nginx实现双机热备负载均衡,这是企业中常用采用的高可用负载均衡部署。原创 2015-02-07 14:55:11 · 3160 阅读 · 0 评论 -
Redis 实现Tomcat7集群扩展,session集中管理
请参考官方文档 下载所需的包了: tomcat-redis-session-manager-1.1.jarjedis-2.1.0.jarcommons-pool-1.6.jar将这些jar包都丢到tomcat的lib目录下,然后修改tomcat7的conf/context.xml文件中加入 <Manager className="com.radiadesign.原创 2013-12-30 19:29:08 · 9810 阅读 · 8 评论 -
Memcache 实现tomcat集群session共享
MSM(memcached-session-manager) 支持tomcat6 和tomcat7 ,利用 Value(Tomcat 阀)对Request进行跟踪。Request请求到来时,从memcached加载session,Request请求结束时,将tomcat session更新至memcached,以达到session共享之目的, 支持 sticky 和 non-sticky 模式。原创 2014-01-10 12:03:25 · 8701 阅读 · 3 评论 -
淘宝Tengine web服务器介绍
Tengine是由淘宝网发起的Web服务器项目。它在Nginx的基础上,针对大访问量网站的需求,添加了很多高级功能和特性。Tengine的性能和稳定性已经在大型的网站如淘宝网,天猫商城等得到了很好的检验。它的最终目标是打造一个高效、稳定、安全、易用的Web平台。原创 2015-05-28 15:55:55 · 1813 阅读 · 0 评论 -
Memcached 结合nginx实现小文件存储方案
nginx的memcached_module模块可以直接从memcached服务器中读取内容后输出,后续的请求不再经过应用程序处理,如php-fpm、django,大大的提升动态页面的速度。nginx只负责从memcached服务器中读取数据,要往memcached写入数据还得需要后台的应用程序来完成,主动的将要缓存的页面缓存到memcached中,可以通过404重定向到后端去处理的。memcached是nginx的核心模块,默认是可以直接使用。这个模块只能读,不能写,不过有第三方模块可以做到。我们可以使用原创 2015-04-04 01:41:06 · 3297 阅读 · 0 评论 -
Redis 高可用方案Keepalived
在redis3.0没有现世之前,为了提高redis的高可用性,通常的做法是采用HAProxy或Keepalived来实现故障自动转移,事实上如果是做Failover而非负载均衡的话,Keepalived的效率肯定是超过HAProxy的,所以下面我们采用Keepalived的方案。原创 2015-04-09 17:14:47 · 2610 阅读 · 5 评论 -
Nginx会话保持和健康检查
Nginx会话保持和健康检查。原创 2015-02-07 19:26:37 · 9041 阅读 · 0 评论 -
基于memcached、nginx的tomcat负载均衡和集群
先说明一下测试环境:tomcat1、nginx、memcached安装在192.168.1.11tomcat2安装在192.168.1.101 下面分步实现基于nginx的tomcat负载均衡和集群配置 一,tomcat集群1,先下载msm及其依赖包http://memcached-session-manager.googlecode转载 2014-01-02 10:56:19 · 1417 阅读 · 0 评论 -
负载均衡常用方式
负载均衡建立在现有网络结构之上,它提供了一种廉价有效透明的方法扩展网络设备和服务器的带宽、增加吞吐量、加强网络数据处理能力、提高网络的灵活性和可用性。原创 2015-02-07 20:59:46 · 1347 阅读 · 0 评论 -
亿级Web系统搭建——单机到分布式集群
大规模流量的网站架构,从来都是慢慢“成长”而来。而这个过程中,会遇到很多问题,在不断解决问题的过程中,Web系统变得越来越大。并且,新的挑战又往往出现在旧的解决方案之上。希望这篇文章能够为技术人员提供一定的参考和帮助。以下为原文当一个Web系统从日访问量10万逐步增长到1000万,甚至超过1亿的过程中,Web系统承受的压力会越来越大,在这个过程中,我们会遇到转载 2015-01-21 08:59:26 · 1489 阅读 · 0 评论 -
常见的负载均衡的基本算法
负载均衡的基本算法,主要有以下几种(参考F5产品):随机:负载均衡方法随机的把负载分配到各个可用的服务器上,通过随机数生成算法选取一个服务器,然后把连接发送给它。虽然许多均衡产品都支持该算法,但是它的有效性一直受到质疑,除非把服务器的可运行时间看的很重。轮询:轮询算法按顺序把每个新的连接请求分配给下一个服务器,最终把所有请求平分给所有的服务器。轮询算法在大多数情况下都工转载 2015-01-13 10:54:45 · 2793 阅读 · 0 评论 -
Haproxy、Keepalived双主高可用负载均衡
通过Haproxy+Keepalived实现双主模式,以便充分利用了服务器资源。测试环境如下:vip1=192.168.36.210(a.3evip.cn)vip2=192.168.36.200(b.3evip.cn)haproxy01=192.168.36.102haproxy02=192.168.36.207web1:192.168.36.54 部署a.3evip.cn和b原创 2014-11-16 17:01:34 · 10937 阅读 · 0 评论 -
haproxy+keepalived负载均衡之主备切换(centos)
VIP: 192.168.1.100Master: 192.168.1.238Slave: 192.168.1.239真实IP:RIP1: 192.168.1.235RIP2: 192.168.1.236以下为安装步骤第一步:安装haproxy下载http://haproxy.1wt.eu/download/1.4/src/haproxy-1.4.18.tar.转载 2014-01-02 10:48:36 · 1925 阅读 · 0 评论 -
Keepalived原理与实战精讲
转至:http://bbs.nanjimao.com/thread-845-1-1.html转载 2014-11-16 17:47:57 · 882 阅读 · 0 评论 -
路由器实现负载均衡的三种模式解析
“负载均衡”概念运用在网络上,简单来说是利用多个网络设备通道均衡分担流量。就像是寺庙一天要挑10桶水,1个尚必需要走10趟,但同时指派10个和尚却只要一趟即可完成工作的道理一样。负载均衡可运用多个网络设备同时工作,达成加速网络信息的处理能力,进而优化网络设备的性能,取代设备必须不停升级或淘汰的命运。目前普遍被运用在网络设备中,如服务器、路由器、交换机等。首先提出多WAN概念的侠诺科技,在多转载 2014-03-15 10:34:43 · 13705 阅读 · 0 评论 -
负载均衡-haproxy安装配置
HAProxy提供高可用性、负载均衡以及基于TCP和HTTP应用的代理,支持虚拟主机,它是免费、快速并且可靠的一种解决方案。HAProxy特别适用于那些负载特大的web站点,这些站点通常又需要会话保持或七层处理。HAProxy运行在当前的硬件上,完全可以支持数以万计的并发连接。并且它的运行模式使得它可以很简单安全的整合进您当前的架构中,同时可以保护你的web服务器不被暴露到网络上.原创 2014-11-14 14:53:12 · 77902 阅读 · 7 评论 -
keepalived HTTP_GET健康检查配置
Keepalived HTTP_GET健康检查配置方式有2种:摘要 和 状态。原创 2015-02-07 14:03:07 · 5266 阅读 · 0 评论 -
keepalived配置文件详解
keepalived既可以作为HA热备,也能作健康检查。下面对/etc/keepalived/keepalived.conf配置说明。原创 2015-02-07 14:13:11 · 4372 阅读 · 0 评论 -
LVS负载均衡测试
LVS的IP负载均衡技术:是通过IPVS模块来实现的,IPVS是LVS集群系统的核心软件。它的主要作用是:安装在 Director Server(前端服务器)上,同时Director Server上虚拟出一个IP地址(VIP),用户必须通过这个虚拟的VIP地址访问服务。访问请求首先经过VIP到达负载均衡调度器,然后由负载均衡调度器根据设定好的算法 从 Real Server 列表中选取一个服务节点响应用户请求。通过LVS提供的负载均衡技术和linux系统实现一个高性能、高可用的服务器集群,它具有良好的可靠性原创 2015-02-07 01:54:38 · 2276 阅读 · 0 评论 -
关于Nginx的一些优化(突破十万并发)
一、nginx指令中的优化(配置文件)worker_processes 8;nginx进程数,建议按照cpu数目来指定,一般为它的倍数。worker_cpu_affinity 00000001 00000010 00000100 00001000 00010000 00100000 01000000 10000000;为每个进程分配cpu,上例中将8个进程分配到8个cpu,当然可以写多转载 2015-03-01 10:20:53 · 1531 阅读 · 0 评论 -
Redis 日志收集系统高可用搭建
为了搭建日志收集系统LEK,需要搭建一套Redis高可用集群,确保日志正常从各个应用服务器流转到ElasticSeach服务器,最终通过Kabana显示出来。Redis高可用集群采用redis自带的sentinel实现,具有主备和故障转移功能。转载 2015-04-10 17:14:24 · 3059 阅读 · 4 评论 -
memcached+magent实现memcached集群
首先说明下memcached存在如下问题 本身没有内置分布式功能,无法实现使用多台Memcache服务器来存储不同的数据,最大程度的使用相同的资源;无法同步数据,容易造成单点故障。(memagent代理实现集群) 在 Memcached中可以保存的item数据量是没有限制的,只要内存足够 。 Memcached单进程最大使用内存为2G,要使用更多内存,可以分多个端转载 2014-05-15 10:25:23 · 918 阅读 · 0 评论 -
边界路由器如何实现网络负载均衡
“边界路由器如何实现网络负载均衡”这个论点,我们必须需要了解涉及NAT、边界路由器、网络负载均衡这个论点的几个相关知识点。 网络地址转换(NAT)的主要目的是解决IP地址短缺,以及实现TCP负载均衡,在图 -1所示的设计方案中,与Internet 连接的路由器采用网络地址转换,根据路由器的NAT表和图 -2中给出的网络结构、IP地址,阐述主机B向内部网络发出请求进行通信时,“边界路由器转载 2015-03-01 10:45:46 · 2670 阅读 · 0 评论 -
LVS性能优化及问题总结
一、LVS 性能调优的方法最佳实践1、最小化安装编译系统内核2、优化持久服务超时时间: 1)显示超时时间 #ipvsadm -Ln --timeout #Timeout (tcp tcpfin udp): 900 120 300 2)配置为与自身应用贴近的超时时间 #ipvsadm --set tcp tcpfin udp3、修改内核参转载 2015-03-01 09:51:57 · 5563 阅读 · 0 评论 -
详解Consistent Hashing(一致性哈希)算法
在做服务器负载均衡时候可供选择的负载均衡的算法有很多,包括: 轮循算法(Round Robin)、哈希算法(HASH)、最少连接算法(Least Connection)、响应速度算法(Response Time)、加权法(Weighted )等。其中哈希算法是最为常用的算法.典型的应用场景是: 有N台服务器提供缓存服务,需要对服务器进行负载均衡,将请求平均分发到每台服务器上,每台机器负责1转载 2015-02-27 20:35:58 · 2326 阅读 · 0 评论 -
利用heartbeat的ldirectord实现ipvs的高可用集群构建
网络规划:两台LVS server:(两台LVS也可以为用户提供错误页面) node1:172.16.31.10 node2:172.16.31.11VIP:172.16.31.180ipvs规则内包含2台Real Server:(后面的RS指的就是后端的web服务器) rs1:172.16.31.13转载 2015-02-08 17:27:12 · 1542 阅读 · 0 评论