2017年03月__yuki_

12月 11月 10月 07月 06月 05月 04月 03月 02月

原创 RabbitMQ 安装和配置

在Windows上安装Rabbit MQ 指南，最好的是这篇《Rabbit MQ Windows Installation guide》，其中还包括了使用.NET RabbitMQ.Client Nuget 包访问Rabbit MQ的示例代码。安装Rabbit MQRabbit MQ 是建立在强大的Erlang OTP平台上，因此安装Rabbit MQ的前提是安装Erlang。通过下面两个

2017-03-21 14:36:16 326

原创 java excel导出

用的是 poi的包:package com.gzkit.util.ExcelUtil;import java.io.IOException;import java.io.OutputStream;import java.lang.reflect.Method;import java.text.SimpleDateFormat;import java.util.Collect

2017-03-21 10:06:48 441

转载单点系统架构的可用性与性能优化

一、需求缘起明明架构要求高可用，为何系统中还会存在单点？回答：单点master的设计，会大大简化系统设计，何况有时候避免不了单点在哪些场景中会存在单点？先来看一下一个典型互联网高可用架构。典型互联网高可用架构：（1）客户端层，这一层是浏览器或者APP，第一步先访问DNS-server，由域名拿到nginx的外网IP（2）负载均衡层，nginx是整个服务端的入口，负

2017-03-02 17:31:21 251

转载 lvs为何不能完全替代DNS轮询

接入层负载均衡技术，部分同学持这样的观点：1）nginx前端加入lvs和keepalived可以替代“DNS轮询”2）F5能搞定接入层高可用、扩展性、负载均衡，可以替代“DNS轮询”“DNS轮询”究竟是不是过时的技术，是不是可以被其他方案替代，接入层架构技术演进，是本文将要细致讨论的内容。一、问题域nginx、lvs、keepalived、f5、DNS轮询，每每提到这些技

2017-03-02 17:08:16 267

转载 DB主从一致性架构优化4种方法

需求缘起大部分互联网的业务都是“读多写少”的场景，数据库层面，读性能往往成为瓶颈。如下图：业界通常采用“一主多从，读写分离，冗余多个读库”的数据库架构来提升数据库的读性能。这种架构的一个潜在缺点是，业务方有可能读取到并不是最新的旧数据：（1）系统先对DB-master进行了一个写操作，写主库（2）很短的时间内并发进行了一个读操作，读从库，此时主从同步没有完成，故读取到了一个

2017-03-02 15:21:36 281

转载数据库30条军规解读

一、基础规范（1）必须使用InnoDB存储引擎解读：支持事务、行级锁、并发性能更好、CPU及内存缓存页优化使得资源利用率更高（2）必须使用UTF8字符集解读：万国码，无需转码，无乱码风险，节省空间（3）数据表、数据字段必须加入中文注释解读：N年后谁tm知道这个r1,r2,r3字段是干嘛的（4）禁止使用存储过程、视图、触发器、Event解读：高并发大

2017-03-02 14:45:36 405

转载数据库秒级平滑扩容架构方案

一、缘起（1）并发量大，流量大的互联网架构，一般来说，数据库上层都有一个服务层，服务层记录了“业务库名”与“数据库实例”的映射关系，通过数据库连接池向数据库路由sql语句以执行：如上图：服务层配置用户库user对应的数据库实例物理位置为ip（其实是一个内网域名）。（2）随着数据量的增大，数据要进行水平切分，分库后将数据分布到不同的数据库实例（甚至物理机器）上，以达到降低数据量

2017-03-02 14:44:08 1751

转载 100亿数据1万属性数据架构设计

对于version + ext方案，说明不仅不是“不可能这么用”，而是大数据，可变属性，高吞吐场景下的“常用手段”。一、背景描述及业务介绍问：什么是数据库扩展的version + ext方案？使用ext来承载不同业务需求的个性化属性，使用version来标识ext里各个字段的含义。例如上述user表：verion=0表示ext里是passwd/nickvers

2017-03-02 14:41:45 920

转载负载均衡

什么是负载均衡负载均衡（Load Balance）是分布式系统架构设计中必须考虑的因素之一，它通常是指，将请求/数据【均匀】分摊到多个操作单元上执行，负载均衡的关键在于【均匀】。常见的负载均衡方案常见互联网分布式架构如上，分为客户端层、反向代理nginx层、站点层、服务层、数据层。可以看到，每一个下游都有多个上游调用，只需要做到，每一个上游都均匀访问每一个下游，就能实现“将请

2017-03-02 14:23:44 233

转载互联网架构“高可用”

一、什么是高可用高可用HA（High Availability）是分布式系统架构设计中必须考虑的因素之一，它通常是指，通过设计减少系统不能提供服务的时间。假设系统一直能够提供服务，我们说系统的可用性是100%。如果系统每运行100个时间单位，会有1个时间单位无法提供服务，我们说系统的可用性是99%。很多公司的高可用目标是4个9，也就是99.99%，这就意味着，系统的年停机时间为8.

2017-03-01 11:31:30 348

转载互联网架构“高并发”

一、什么是高并发高并发（High Concurrency）是互联网分布式系统架构设计中必须考虑的因素之一，它通常是指，通过设计保证系统能够同时并行处理很多请求。高并发相关常用的一些指标有响应时间（Response Time），吞吐量（Throughput），每秒查询率QPS（Query Per Second），并发用户数等。响应时间：系统对请求做出响应的时间。例如系

2017-03-01 11:30:29 400

原创应对表扩展的一列

需求缘起产品第一版：用户有用户名、密码、昵称等三个属性,对应表设计：user(uid, name, passwd, nick)第二版，产品经理增加了年龄，性别两个属性,表结构可能要变成：user(uid, name, passwd, nick, age, sex)假设数据量和并发量比较大，怎么变？（1）alter table add column？不太可行，锁表时间

2017-03-01 10:57:13 449 2

转载一分钟掌握数据库垂直拆分

一、缘起当数据库的数据量非常大时，水平切分和垂直拆分是两种常见的降低数据库大小，提升性能的方法。假设有用户表：user(uid bigint,name varchar(16),pass varchar(16),age int,sex tinyint,flag tinyint,sign varchar(64),intro varchar(256)…);

2017-03-01 10:49:23 310

转载跨库分页的四种方案

(ps:以mysql举个例)一、需求缘起分页需求互联网很多业务都有分页拉取数据的需求，例如：（1）微信消息过多时，拉取第N页消息（2）京东下单过多时，拉取第N页订单（3）浏览58同城，查看第N页帖子这些业务场景对应的消息表，订单表，帖子表分页拉取需求有这样一些特点：（1）有一个业务主键id, 例如msg_id,order_id,tiezi_id（2）分页排序

2017-03-01 10:37:09 787