架构
文章平均质量分 60
haihongazar
这个作者很懒,什么都没留下…
展开
-
一个分布式服务器集群架构方案
问题导读1.分布式和集群是如何提升效率的?2.HAProxy有哪些优点? 0x01.大型网站演化简单说,分布式是以缩短单个任务的执行时间来提升效率的,而集群则是通过提高单位时间内执行的任务数来提升效率。集群主要分为:高可用集群(High Availability Cluster),负载均衡集群(Load Balance Clust转载 2016-09-14 09:00:28 · 650 阅读 · 0 评论 -
大型网站架构改进历程:数据存储的瓶颈
【编者按】本文转自博客园的 夏天的森林,在看这篇之前,大家可以移步看 大型网站架构改进历程:存储的瓶颈(一)、(二)、(三)、(四)。上文里我遗留了两个问题,一个问题是数据库做了水平拆分以后,如果我们对主键的设计采取一种均匀分布的策略,那么它对于被水平拆分出的表后续的查询操作将有何种影响,第二个问题就是水平拆分的扩容问题。这两个问题在深入下去,本系列就越来越技术化了,可能最终很多朋友读转载 2016-09-14 11:21:06 · 463 阅读 · 0 评论 -
关于大型网站技术演进的思考(二)--存储的瓶颈(2)
【编者按】本文转自博客园的 夏天的森林上篇里我讲到某些网站在高并发下会报出503错误,503错误的含义是指网站服务端暂时无法提供服务的含义,503还表达了网站服务端现在有问题但是以后可能会提供正常的服务,对http协议熟悉的人都知道,5开头的响应码表达了服务端出现了问题,在我们开发测试时候最为常见的是500错误,500代表的含义是服务端程序出现了错误导致网站无法正常提供服务,500通常转载 2016-09-14 11:28:27 · 357 阅读 · 0 评论 -
memcache的一致性hash算法使用
转载地址:http://blog.csdn.net/kongqz/article/details/6695417一、概述 1、我们的memcache客户端(这里我看的spymemcache的源码),使用了一致性hash算法ketama进行数据存储节点的选择。与常规的hash算法思路不同,只是对我们要存储数据的key进行hash计算,分配到不同节点存储。一致性hash算法是对我们要转载 2016-09-14 11:34:42 · 320 阅读 · 0 评论 -
海量图片存储策略
转载地址:http://blog.csdn.net/kongqz/article/details/7473822一、常规图片存储策略常规的一般400G以下的图片存储可以采用比较传统的分目录的形式例如目录层级为 年份/行业属性/月份/日期/用户属性有几个比较重要的原则就是1、单个目录下的文件个数不要超过2000个,多了寻址较慢,你在linux下l转载 2016-09-14 11:41:17 · 494 阅读 · 0 评论 -
关于大型网站技术演进的思考(一)--存储的瓶颈(1)
转载地址:http://www.cnblogs.com/sharpxiajun/p/4237704.html前不久公司请来了位互联网界的技术大牛跟我们做了一次大型网站架构的培训,两天12个小时信息量非常大,知识的广度和难度也非常大,培训完后我很难完整理出全部听到的知识,今天我换了个思路是回味这次培训,这个思路就是通过本人目前的经验和技术水平来思考下大型网站技术演进的过程。 首先我转载 2016-09-14 11:47:24 · 229 阅读 · 0 评论 -
用户行为分析笔记(二):系统的整体架构
转载地址:http://www.cnblogs.com/sharpxiajun/archive/2011/11/01/2232254.html昨晚写的博文得到大家积极的反馈,非常喜欢这样一种交流的过程,也发现自己还有很多知识掌握的不够好,javascript是我主攻方向,对它的学习要求一定要高,其实对象创建的中篇写的不是太好,太仓促了,很多问题思考不到位,有点浅尝辄止,因此最后一篇我想要好转载 2016-09-14 13:02:15 · 1580 阅读 · 1 评论 -
大型网站系统架构的演化 good
转载:http://www.cnblogs.com/leefreeman/p/3993449.html前言 一个成熟的大型网站(如淘宝、京东等)的系统架构并不是开始设计就具备完整的高性能、高可用、安全等特性,它总是随着用户量的增加,业务功能的扩展逐渐演变完善的,在这个过程中,开发模式、技术架构、设计思想也发生了很大的变化,就连技术人员也从几个人发展到一个部门甚至一条产品线。所转载 2016-09-14 13:15:44 · 318 阅读 · 0 评论 -
maven assembly plugin使用
使用场景在使用maven来管理项目时,项目除了web项目,还有可能为控制台程序,一般用于开发一些后台服务的程序。最近在工作中也遇到了这种场景,使用quartz开发一个任务调度程序。程序中依赖很多jar包,项目的启动时只需要初始化spring容器即可。使用方法使用一个简单的基于spring框架的demo来做程序示例,来介绍maven assembly插件的使用方法。项目中转载 2016-10-14 14:39:59 · 245 阅读 · 0 评论 -
技术架构快速规划与落地-58到家
保证高可用解决方案:冗余和复制原创 2017-04-07 20:26:40 · 900 阅读 · 0 评论 -
【Postgresql源码分析之一】主备同步复制介绍
postgresql主备热备postgresql支持主机和备机以及级联之间的热备,即通过先进行一次基础备份,让其拥有相同的基础数据,然后通过传输XLOG日志的方式,在备机或者级联备机上REDO模拟主机上的操作,保证他们之间数据的一致性。目前热备传输方式有下面两种;异步复制(async):主机上产生xlog日志,只需要将该xlog日志发送给备机就返回给客户端结果,不关心备机是否接收到转载 2016-09-14 11:14:32 · 926 阅读 · 0 评论 -
主备服务器内数据同步后如何确保完全一致
保证备库的数据和主库一致:1、分析日志(Analysis Log)将装载到备库的SQL语句,这部分是装载正确的根本,这部分数据如果正确了,则保证了数据源的正确。2、装载日志(Upload Log)装载数据时是否出现问题,有时备库和主库表定义有不一致,那么在这个日志就会记录出错,根据此日志就能够检查出问题出现在什么地方。 通过以上两个日志基本能保证同步过程中的错误捕捉,同时再加原创 2016-09-14 11:08:45 · 1581 阅读 · 0 评论 -
log4j.properties(debug,info,error模式)
### direct log messages to stdout and file###log4j.rootCategory=info,error,debug#log4j.rootCategory=info,stdout##debug模式,将debug日志打到控制台consolelog4j.logger.java.sql=debuglog4j.logger.org.apach原创 2016-09-14 10:52:25 · 5500 阅读 · 0 评论 -
高可用、开源的Redis缓存集群方案
由于单台Redis服务器的内存管理能力有限,使用过大内存的Redis又会使得服务器的性能急剧下降,一旦服务器发生故障将会影响更大范围业务,而Redis 3.0 beta1支持的集群功能还不适合生产环境的使用。于是为了获取更好的Redis缓存性能及可用性,很多公司都研发了Redis缓存集群方案。现对NetFlix、Twitter、国内的豌豆荚在缓存集群方面的解决方案进行一个汇总,以供读者参考,具体内转载 2016-09-14 09:09:07 · 367 阅读 · 0 评论 -
Nginx反向代理实现均衡负载
Nginx反向代理实现均衡负载nginx-reverse-proxy-conf为jue.so架设一个服务器集群。架设服务器均衡负载方式有多种,Nginx、LVS、HAProxy+Keepalived是目前使用最广泛的三种方案0x01. 关于均衡负载架设服务器均衡负载方式有多种,Nginx、LVS、HAProxy+K转载 2016-09-14 09:17:17 · 261 阅读 · 0 评论 -
如何实现主备服务器的数据同步
SQL SERVER 2005 同步复制技术以下实现复制步骤(以快照复制为例) 运行平台SQL SERVER 2005 一、准备工作: 1.建立一个 WINDOWS 用户,设置为管理员权限,并设置密码,作为发布快照文件的有效访问用户。 2.在SQL SERVER下实现发布服务器和订阅服务器的通信正常(即可以互访)。打开1433端口,在防火转载 2016-09-14 10:24:50 · 5342 阅读 · 0 评论 -
电商总结:系统容量预估
前几天聊过,pv 和并发 的概念,也大概解释了 并发,带宽等指标的计算。感兴趣的朋友,可以看看我前面那篇文章:《聊一聊PV和并发》。今天再来聊一聊容量预估。 电商公司的朋友,,这样的场景是否似曾相识: 运营和产品神秘兮兮的跑过来问: 我们晚上要做搞个促销,服务器能抗住么?如果扛不住,需要加多少台机器? 于是,技术一脸懵逼。转载 2016-09-14 10:25:50 · 973 阅读 · 0 评论 -
聊一聊PV和并发
最近和几个朋友,聊到并发和服务器的压力问题。很多朋友,不知道该怎么去计算并发?部署多少台服务器才合适? 所以,今天就来聊一聊PV和并发,还有计算web服务器的数量 的等方法。这些都是自己的想法加上一些网上的总结,如有不对,欢迎拍砖。 几个概念 网站流量是指网站的访问量,用来描述访问网站的用户数量以及用户所浏览的网页数量等指标,常用的统计指标包括网站的独立用户数量转载 2016-09-14 10:27:46 · 358 阅读 · 0 评论 -
电商总结-基于共享存储的图片服务器架构
在当前这个互联网的时代,不管何种网站,对图片的需求量越来越大,尤其在电商网站中,几乎都会面临到海量图片资源的存储、访问等相关技术问题。在对图片服务器的架构,扩展,升级的过程中,肯定也会碰到各种各样的问题,各种各样的需求。当然这并不代表,就必须得弄一个特别NB的图片服务架构,简单,高效,稳定就行。所以今天就来总结一个特别简单,高效的图片服务架构:通过共享存储的方式来实现图片服务架构。转载 2016-09-14 10:36:55 · 1694 阅读 · 0 评论 -
电商总结-小型电商网站的架构
又是一年年底了,这一年,从传统软件行业进入到电商企业,算是一次转行了吧。刚开始,觉得电商网站没有什么技术含量,也没有什么门槛,都是一些现有的东西堆积木似的堆出来而已。然而,真正进入到这个行业之后,才发现并不是这样。记得有人说过,好的架构,是演化出来的。电商网站的架构也是如此,现在牛逼的电商网站,看似很复杂,很牛逼,其实也是从很小的架构,也是从没什么技术含量开始的。架构的演化过程,就是在技术团队,不转载 2016-09-14 10:38:49 · 584 阅读 · 0 评论 -
电商总结-日志监控系统的解决方案
前一篇文章聊到了小型电商网站的系统架构,然后有朋友问我,里面的日志与监控指的是啥,所以,今天就来聊聊这个问题。 监控系统主要用于服务器集群的资源和性能监控以及应用异常和性能监控,日志管理等多维度的性能监控分析。一个完善的监控系统和日志系统对于一个系统的重要性不必我多说,总而言之就一句话,只有实时了解各系统的状态,才能保证各系统的稳定。 如上图所示,监控平转载 2016-09-14 10:43:11 · 3637 阅读 · 0 评论 -
电商总结-构建数据库的主从架构
这段时间,一直在总结电商系统的相关基础技术和架构,写了很多东西。但是还是发现一个很重要,很基础的方面没有讲到,那就是数据库读写分离的主从架构。可能发展到大型成熟的公司之后,主从架构已经落伍了,取而代之的是更加复杂的数据库集群。但是作为一个小型电商公司,数据库的主从架构应该是最基础的。任何大型的系统架构,都是不断演进的。主从架构便是数据库架构中,最基础的架构。所以研究完主从架构,也就能看懂更加复杂的转载 2016-09-14 09:34:45 · 522 阅读 · 0 评论 -
京东核心中间件如何支撑业务快速发展---笔记
JSF 分布式RPC微服务框架,服务化的标准使用jsf做的,有 14000接口,接口文件统计的,接入的应用实例有11万,调用达到3000亿架构服务提供方,先注册中心进行注册,怎么知道注册中心,有目录服务,index服务。查找最近的注册中心,把注册中心同步上去。注册中心之间的注册信息会同步。消费者先注册index服务,index服务拿到注册中心,然后连上,取到服务体系的地址。将埋点原创 2017-04-11 17:47:40 · 833 阅读 · 0 评论