moonpure的专栏

转载 HTTP协议和HTTPS协议详解

HTTP是一个属于应用层的面向对象的协议，由于其简捷、快速的方式，适用于分布式超媒体信息系统。它于1990年提出，经过几年的使用与发展，得到不断地完善和扩展。目前在WWW中使用的是HTTP/1.0的第六版，HTTP/1.1的规范化工作正在进行之中，而且HTTP-NG(Next Generation of HTTP)的建议已经提出。HTTP协议的主要特点可概括如下：1.支持客户/服务器模式。

转载 Java 网络爬虫

搜索引擎 NutchNutch 是一个开源Java 实现的搜索引擎。它提供了我们运行自己的搜索引擎所需的全部工具。包括全文搜索和Web爬虫。 Nutch的创始人是Doug Cutting，他同时也是Lucene、Hadoop和Avro开源项目的创始人。 Nutch诞生于2002年8月，是Apache旗下的一个用Java实现...更多Nutch信息

原创 网络爬虫应该怎样选择爬虫框架

有些人问，开发网络爬虫应该选择Nutch、Crawler4j、WebMagic、scrapy、WebCollector还是其他的？这里按照我的经验随便扯淡一下：上面说的爬虫，基本可以分3类： 1.分布式爬虫：Nutch 2.JAVA单机爬虫：Crawler4j、WebMagic、WebCollector 3. 非JAVA单机爬虫：scrapy

转载 CentOS 7 部署 Kubernetes

http://www.fangyunlin.com/?p=54截止至2015年9月1日，CentOS 已经把 kubernetes 加入官方源。目前各相关组件版本如下kubernetes-1.0.0docker-1.7.1flannel-0.2.0etcd-2.0.11kubernetes环境角色如下192.168.1.248 etcd server192.168.1.

转载 在centos7上部署kubernetes

http://blog.csdn.net/Qguanri/article/details/50925672K8S 分为 master 和 slave 两类角色。环境说明如下表：对象版本IP备注k8s-mastercentos7XX.XX.XX.179K8S的master所在主机etcd-servercentos

转载 分布式服务框架HSF

HSF提供的是分布式服务开发框架，taobao内部使用较多，总体来说其提供的功能及一些实现基础：1.标准Service方式的RPC  1）、Service定义：基于OSGI的Service定义方式  2）、TCP/IP通信：   IO方式：nio,采用mina框架   连接方式：长连接   服务器端有限定大小的连接池   WebService方式  3）、序列化：H

转载 OpenStack高可用核心架构分析

一、OpenStack架构与HA分析OpenStack实际上是由众多服务组合而成，它们之间的关联或多或少，而且具有一定的层次关系，每个服务就像积木块一样，你可以根据实际需要进行取舍并组合搭建，因此良好的运营架构整合能力是应用OpenStack的前提。任何一个IaaS的云平台最核心的主要是这三部分：计算、网络、存储，OpenStack也不例外。在OpenStack里面这三者分别对应的

转载 Redis集群方案all

由于Redis出众的性能，其在众多的移动互联网企业中得到广泛的应用。Redis在3.0版本前只支持单实例模式，虽然现在的服务器内存可以到100GB、200GB的规模，但是单实例模式限制了Redis没法满足业务的需求（例如新浪微博就曾经用Redis存储了超过1TB的数据）。Redis的开发者Antirez早在博客上就提出在Redis 3.0版本中加入集群的功能，但3.0版本等到2015年才发布正式版

转载 Mysql主从同步延迟问题及解决方案

对于主从正常执行，相应的延迟几乎是不存在的。但是在高QPS下，主从同步却出现了比较明显的延迟情况。_________________________________________________________问题一：主库的从库太多，导致复制延迟从库数据以3-5个为宜，要复制的从节点数量过多，会导致复制延迟问题二：从库硬件比主库差，导致复制延迟

转载 MySQL主从复制延迟的监测及缓解

MySQL的主从复制有多种原因可以导致延迟，这个是公认的了，下面我们谈谈怎样监测复制的延迟，以及怎样尽量的解决延迟的问题。 延迟的监测Seconds_behind_master在SLAVE上执行SHOW SLAVE STATUS，监控Seconds_behind_master列值，备库Seconds_Behind_Master值是通过将服务器当前的时间戳（这里其实有

转载 redis 的两种持久化方式及原理

Redis是一种高级key-value数据库。它跟memcached类似，不过数据可以持久化，而且支持的数据类型很丰富。有字符串，链表，集 合和有序集合。支持在服务器端计算集合的并，交和补集(difference)等，还支持多种排序功能。所以Redis也可以被看成是一个数据结构服务 器。Redis的所有数据都是保存在内存中，然后不定期的通过异步方式保存到磁盘上(这称为“半持久化模式”)；也可以

转载 mysql分布式数据库中间件对比

目前数据库中间件有很多，基本这些中间件在下都有了解和使用，各种中间件优缺点及使用场景也都有些心的。所以总结一个关于中间件比较的系列，希望可以对大家有帮助。1. 什么是中间件传统的架构模式就是 应用连接数据库直接对数据进行访问，这种架构特点就是简单方便。但是随着目前数据量不断的增大我们就遇到了问题:单个表数据量太大单个库数据量太大单台数据量服务器压力很大读写速度遇到瓶

转载 mysql中间件研究（Atlas，cobar，TDDL）

mysql-proxy是官方提供的mysql中间件产品可以实现负载平衡，读写分离，failover等，但其不支持大数据量的分库分表且性能较差。下面介绍几款能代替其的mysql开源中间件产品，Atlas，cobar，tddl，让我们看看它们各自有些什么优点和新特性吧。AtlasAtlas是由 Qihoo 360, Web平台部基础架构团队开发维护的一个基于MySQL协议的数据中间层项

转载 Dubbo高级篇4

线程模型http://dubbo.io/User+Guide-zh.htm 用户指南>>线程模型类似于数据库的连接池(+) (#)事件处理线程说明如果事件处理的逻辑能迅速完成，并且不会发起新的IO请求，比如只是在内存中记个标识，则直接在IO线程上处理更快，因为减少了线程池调度。但如果事件处理逻辑较慢，或者需要发起新的IO请

转载 Dubbo高级篇3

服务化的目标       1. 将系统中独立的业务抽取出来，按业务的独立性进行垂直划分，抽象出基础服务层。        2.基础服务为上游业务的功能 实现提供支撑，基础服务应用本身无状态，可随着系统的负荷灵活伸缩来提供服务能力。    服务子系统的数量把控过多:可能划分过细，破坏业务子系统的独立性(如支付订单、退款订单、用户、账户),部

转载 Dubbo高级篇2

IP:192.168.1.121环境:CentOS6.6Redis版本:redis-3.0安装目录:/usr/local/redis1.编译和安装所需的包:2.上传redis3安装包，解压创建安装目录[root@yxq src]# mkdir /usr/local/redis解压3.

转载 Dubbo高级篇1

消息中间件的定义Message-oriented middleware (MOM) is software infrastructure focused on sending and receiving messages between distributed systems.消息中间件是在分布式系统中完成消息的发送和接收的基础软件。消息中间件的作用消息中间件可

转载 负载均衡

一、计算机集群1、什么是计算机集群   计算机集群简称集群是一种计算机系统， 它通过一组松散集成的计算机软件和/或硬件连接起来高度紧密地协作完成计算工作。在某种意义上，他们可以被看作是一台计算机。集群系统中的单个计算机通常称为节点，通常通过局域网连接，但也有其它的可能连接方式。集群计算机通常用来改进单个计算机的计算速度和/或可靠性。一般情况下集群计算机比单个计算机，比如工作站或超级

转载 四层和七层负载均衡的区别

一、简单理解四层和七层负载均衡① 所谓四层就是基于IP+端口的负载均衡；七层就是基于URL等应用层信息的负载均衡；同理，还有基于MAC地址的二层负载均衡和基于IP地址的三层负载均衡。 换句换说，二层负载均衡会通过一个虚拟MAC地址接收请求，然后再分配到真实的MAC地址；三层负载均衡会通过一个虚拟IP地址接收请求，然后再分配到真实的IP地址；四层通过虚拟IP+端口接收请求，然后再分配到真实的

转载 Nginx/LVS/HAProxy负载均衡软件的优缺点详解

PS：Nginx/LVS/HAProxy是目前使用最广泛的三种负载均衡软件，本人都在多个项目中实施过，参考了一些资料，结合自己的一些使用经验，总结一下。一般对负载均衡的使用是随着网站规模的提升根据不同的阶段来使用不同的技术。具体的应用需求还得具体分析，如果是中小型的Web应用，比如日PV小于1000万，用Nginx就完全可以了；如果机器不少，可以用DNS轮询，LVS所耗费的机器还是比较多的

转载 LVS详解

LVS之一：三种工作模式的优缺点比较（NAT/TUN/DR）一、Virtual server via NAT（VS-NAT）优点：集群中的物理服务器可以使用任何支持TCP/IP操作系统，物理服务器可以分配Internet的保留私有地址，只有负载均衡器需要一个合法的IP地址。缺点：扩展性有限。当服务器节点（普通PC服务器）数据增长到20个或更多时,负载均衡器将成为

转载 Keepalived+lvs+httpd之负载均衡

1、软件介绍        keepalived：顾名思义是保持存活，常用来搭建设备的高可用，防止业务核心设备出现单点故障。keepalived主要用作realserver的健康检查以及负载均衡主机和backup主机之间的故障漂移。        单点故障：在公司整个业务流程中，某一点出现故障就会导致整个系统架构不可用，单点故障常发生在数据库、核心业务系统等。对此我们的解决办法是对核心

转载 Redis Sentinel初体验

自Redis增加Sentinel集群工具以来，本博主就从未尝试过使用该工具。最近在调研目前主流的Redis集群部署方案，所以详细地看了一遍官方对于Sentinel的介绍并在自己的台式机上完成了三Redis实例+三Sentinel实例的部署，这里做一下简单的总结。    首先，下载安装Redis。目前随Redis 2.8发布的Sentinel版本被antirez称为Sentinel 2，是在

转载 Redis集群方案及实现

之前做了一个Redis的集群方案，跑了小半年，线上运行的很稳定差不多可以跟大家分享下经验，前面写了一篇文章 数据在线服务的一些探索经验，可以做为背景阅读应用我们的Redis集群主要承担了以下服务：1. 实时推荐2. 用户画像3. 诚信分值服务集群状况集群峰值QPS 1W左右，RW响应时间999线在1ms左右整个集群：1. Redis节点： 8台物

转载 Redis的Java客户端Jedis的八种调用方式

一、普通同步方式最简单和基础的调用方式，@Testpublic void test1Normal() {    Jedis jedis = new Jedis("localhost");    long start = System.currentTimeMillis();    for (int i = 0; i i++) {        String result = je

转载 秒杀业务 架构优化之路

秒杀业务为什么难做IM 系统，例如QQ、微博，每个人都读自己的数据（好友列表、群列表、个人信息）。微博系统，每个人读你关注的人的数据，一个人读多个人的数据。秒杀系统，库存只有一份，所有人会在集中的时间读和写这些数据，多个人读一个数据。例如小米手机每周二的秒杀，可能手机只有1w，但是瞬时进入的流量可能是几百几千万。又例如12306的抢票，票是有限的，库存一份，瞬时流量非常多，都读相同的库

转载 限时抢购秒杀系统架构分析与实战

1 秒杀业务分析正常电子商务流程（1）查询商品；（2）创建订单；（3）扣减库存；（4）更新订单；（5）付款；（6）卖家发货秒杀业务的特性（1）低廉价格；（2）大幅推广；（3）瞬时售空；（4）一般是定时上架；（5）时间短、瞬时并发量高；2 秒杀技术挑战假设某网站秒杀活动只推出一件商品，预计会吸引1万人参加活动，也就说最大并发请求数是10000，

转载 亿级Web系统搭建——单机到分布式集群

大规模流量的网站架构，从来都是慢慢“成长”而来。而这个过程中，会遇到很多问题，在不断解决问题的过程中，Web系统变得越来越大。并且，新的挑战又往往出现在旧的解决方案之上。希望这篇文章能够为技术人员提供一定的参考和帮助。 以下为原文当一个Web系统从日访问量10万逐步增长到1000万，甚至超过1亿的过程中，Web系统承受的压力会越来越大，在这个过程中，我们会遇到很多的问题。为了解决这

转载 Web系统大规模并发——电商秒杀与抢购

徐汉彬曾在阿里巴巴和腾讯从事4年多的技术研发工作，负责过日请求量过亿的Web系统升级与重构，目前在小满科技创业，从事SaaS服务技术建设。  电商的秒杀和抢购，对我们来说，都不是一个陌生的东西。然而，从技术的角度来说，这对于Web系统是一个巨大的考验。当一个Web系统，在一秒钟内收到数以万计甚至更多请求时，系统的优化和稳定至关重要。这次我们会关注秒杀和抢购的技术实现和优化，同时

转载 高并发等大型网站架构常见问题

1、文件存贮的问题对于一些支持文件上传的2.0的站点，在庆幸硬盘容量越来越大的时候我们更多的应该考虑的是文件应该如何被存储并且被有效的索引。常见的方案是对文件按照日期和类型进行存贮。但是当文件量是海量的数据的情况下，如果一块硬盘存贮了500个G的琐碎文件，那么维护的时候和使用的时候磁盘的Io就是一个巨大的问题，哪怕你的带宽足够，但是你的磁盘也未必响应过来。如果这个时候还涉及上传，磁盘很容易

转载 大型高并发高负载网站的系

随着中国大型IT企业信息化速度的加快，大部分应用的数据量和访问量都急剧增加，大型企业网站正面临性能和高数据访问量的压力，而且对存储、安全以及信息检索等等方面都提出了更高的要求……本文中，我想通过几个国外大型IT企业及网站的成功案例，从Web技术人员角度探讨如何积极地应对国内大型网站即将面临的扩展（主要是技术方面，而较少涉及管理及营销等方面）矛盾。一、 国外大型IT网站的成功之道 

转载 大型网站是怎样解决多用户高并发访问

分布式是以缩短单个任务的执行时间来提升效率的，而集群则是通过提高单位时间内执行的任务数来提升效率。集群主要分为：高可用集群(High Availability Cluster)，负载均衡集群(Load Balance Cluster，nginx即可实现)，科学计算集群(High Performance Computing Cluster)。分布式是指将不同的业务分布在不

转载 高并发量网站解决方案

一个小型的网站，可以使用最简单的html静态页面就实现了，配合一些图片达到美化效果，所有的页面均存放在一个目录下，这样的网站对系统架构、性能的要求都很简单。随着互联网业务的不断丰富，网站相关的技术经过这些年的发展，已经细分到很细的方方面面，尤其对于大型网站来说，所采用的技术更是涉及面非常广，从硬件到软件、编程语言、数据库、WebServer、防火墙等各个领域都有了很高的要求，已经不是原来简单的ht

转载 Web网站的几个并发量级

评价一个网站的“大小”，处于视角的不同，有很多种衡量的方法，类似文章数，页面数之类的数据非常明显，也没有什么可以争议的。但对于并发来说，争议非常之多，这里就从一个技术的角度开始，谈谈几个Web网站的数量级。相信很多人谈论一个网站的热度，总免不了会询问日均PV，同时在线人数、注册用户数等运营数据，说实话从技术角度来说，这几个数值没有一个可以放在一起比较的——一个静态网站的PV跟一个SNS类/We

转载 dubbo相关知识

1. Dubbo是什么？ 互联网的发展，网站应用的规模不断扩大，常规的垂直应用架构已无法应对，分布式服务架构以及流动计算架构势在必行，Dubbo是一个分布式服务框架，在这种情况下诞生的。现在核心业务抽取出来，作为独立的服务，使前端应用能更快速和稳定的响应。介绍Dubbo背景    大规模服务

转载 Dubbo与Zookeeper、SpringMVC整合和使用（负载均衡、容错）

互联网的发展，网站应用的规模不断扩大，常规的垂直应用架构已无法应对，分布式服务架构以及流动计算架构势在必行，Dubbo是一个分布式服务框架，在这种情况下诞生的。现在核心业务抽取出来，作为独立的服务，使前端应用能更快速和稳定的响应。 第一：介绍Dubbo背景        大规模服务化之前，应用可能只是通过RMI或Hessian等工具，

转载 微服务架构的设计模式

转载 保证分布式系统数据一致性的6种方案

在电商等业务中，系统一般由多个独立的服务组成，如何解决分布式调用时候数据的一致性？ 具体业务场景如下，比如一个业务操作，如果同时调用服务 A、B、C，需要满足要么同时成功；要么同时失败。A、B、C 可能是多个不同部门开发、部署在不同服务器上的远程服务。在分布式系统来说，如果不想牺牲一致性，CAP 理论告诉我们只能放弃可用性，这显然不能接受。为了便于讨论问题，先简单介绍下数据一致性的

转载 关于分布式系统的数据一致性问题

现在先抛出问题，假设有一个主数据中心在北京M，然后有成都A，上海B两个地方数据中心，现在的问题是，假设成都上海各自的数据中心有记录变更，需要先同步到主数据中心，主数据中心更新完成之后，在把最新的数据分发到上海，成都的地方数据中心A，地方数据中心更新数据，保持和主数据中心一致性（数据库结构完全一致）。数据更新的消息是通过一台中心的MQ进行转发。先把问题简单化处理，假设A增加一条记录M

转载 MySQL高可用方案：基于MHA实现的自动故障转移群集

MySQL高可用方案：基于MHA实现的自动故障转移群集常用MySQL不同高可用方案的对比（下图来自官方手册） 做整形到华美-绍兴华美【点击进入】到华美定制专属您的个性之美 美丽热线0575-88501111查 看  能实现自