- 博客(19)
- 资源 (6)
- 收藏
- 关注
RSS订阅转载 用Golang处理每分钟100万份请求
我在几家不同的公司从事反垃圾邮件，防病毒和反恶意软件行业工作超过15年，现在我知道这些系统最终会因为我们每天处理的大量数据而变得复杂。目前，我是smsjunk.com的CEO和KnowBe4的首席架构师，他们都是网络安全行业的公司。有趣的是，在过去的10年左右，作为一名软件工程师，我参与过的所有Web后端开发大部分都是在Ruby on Rails中完成的。不要误会我的意思，我喜欢Ruby on R...
2018-04-13 10:28:06
1676
转载 用 Go 编写一个简单的 WebSocket 推送服务
用 Go 编写一个简单的 WebSocket 推送服务本文中代码可以在 github.com/alfred-zhong/wserver 获取。背景最近拿到需求要在网页上展示报警信息。以往报警信息都是通过短信，微信和 App 推送给用户的，现在要让登录用户在网页端也能实时接收到报警推送。依稀记得以前工作的时候遇到过类似的需求。因为以前的浏览器标准比较陈旧，并且那时用 Java 较多，所以那时候解决这...
2018-04-02 14:45:35
1909
转载 Golang 中的并发限制与超时控制
前言上回在 用 Go 写一个轻量级的 ssh 批量操作工具 里提及过，我们做 Golang 并发的时候要对并发进行限制，对 goroutine 的执行要有超时控制。那会没有细说，这里展开讨论一下。以下示例代码全部可以直接在The Go Playground 上运行测试：并发我们先来跑一个简单的并发看看package mainimport ( "fmt" "time")fu...
2018-03-28 17:35:10
2503
原创 golang通用连接池的实现
golang的channel除了goroutine通信之外还有很多其他的功能，本文将实现一种基于channel的通用连接池。何为通用？连接池的实现不依赖具体的实例，而依赖某个接口，本文的连接池选用的是 io.Closer 接口，只要是实现了该接口的对象都可以被池管理。当然，你可以实现基于 interface{} 的连接池，这样任何对象都可以被管理。实现原理将连接句柄存入channel中，由于缓存c...
2018-03-28 17:21:50
4243
转载 Redis内存模型
前言Redis是目前最火爆的内存数据库之一，通过在内存中读写数据，大大提高了读写速度，可以说Redis是实现网站高并发不可或缺的一部分。我们使用Redis时，会接触Redis的5种对象类型（字符串、哈希、列表、集合、有序集合），丰富的类型是Redis相对于Memcached等的一大优势。在了解Redis的5种对象类型的用法和特点的基础上，进一步了解Redis的内存模型，对Redis的使用有很大帮助...
2018-03-28 14:29:08
311
转载 电商那些年，我摸爬打滚出的高并发架构实战精髓
一、关于高并发高并发是指在同一个时间点，有很多用户同时访问URL地址，比如：淘宝的双11、双12，就会产生高并发。又如贴吧的爆吧，就是恶意的高并发请求，也就是DDOS攻击，再屌丝点的说法就像玩LOL被ADC暴击了一样，那伤害你懂的。1高并发会来带的后果服务端：导致站点服务器/DB服务器资源被占满崩溃，数据的存储和更新结果和理想的设计是
2017-04-01 19:12:15
518
转载 电商那些年，我摸爬打滚出的高并发架构实战精髓(续)
一、分层，分割，分布式大型网站要很好地支撑高并发，需要长期的规划设计。在初期，需要把系统进行分层，在发展过程中把核心业务进行拆分成模块单元，根据需求进行分布式部署，可以进行独立团队维护开发。分层：将系统在横向维度上切分成几个部分，每个部门负责一部分相对简单并比较单一的职责，然后通过上层对下层的依赖和调度组成一个完整的系统。比如把电商系统分成：应用层，服务
2017-04-01 19:08:51
2288
原创 golang http server源码解读
1. 初识http 是典型的 C/S 架构，客户端向服务端发送请求（request），服务端做出应答（response）。golang 的标准库 net/http 提供了 http 编程有关的接口，封装了内部TCP连接和报文解析的复杂琐碎的细节，使用者只需要和 http.request 和 http.ResponseWriter 两个对象交互就行。也就是说，我们只要写一个 ha
2017-03-24 15:34:29
1867
转载 golang 实现一个restful微服务
如何用net/http构建一个简单的web服务Golang提供了简洁的方法来构建web服务package mainimport ( "net/http")func HelloResponse(rw http.ResponseWriter, request *http.Request) { fmt.Fprintf(w, "Hello world.")}fu
2017-03-24 15:08:35
6977
转载 golang 实现HTTP代理和反向代理
代理的核心功能可以用一句话概括：接受客户端的请求，转发到后端服务器，获得应答之后返回给客户端。下图是 《HTTP 权威指南》一书中给出的图例，可以很清晰地说明这一流程：代理的功能有很多，事实上整个互联网到处都充斥着代理服务器。如果所有的 HTTP 访问都是客户端和服务器端直接进行的话，我们的网络不仅会变得缓慢，而且性能会大打折扣。代理服务器根据不同的配置和使用，可能会有不同
2017-03-23 20:21:56
58083
6
转载 如何扩展数据库表字段
零、缘起讨论问题域：（1）数据量大、并发量高场景，在线数据库属性扩展（2）数据库表结构扩展性设计 一、哪些方案一定是不行的（1）alter table add column要坚持这个方案的，也不多解释了，大数据高并发情况下，一定不可行 （2）通过增加表的方式扩展，通过外键join来查询大数据高并发情况下，join性
2017-02-23 17:20:52
5662
1
转载 究竟啥才是互联网架构“高可用”
一、什么是高可用高可用HA（High Availability）是分布式系统架构设计中必须考虑的因素之一，它通常是指，通过设计减少系统不能提供服务的时间。假设系统一直能够提供服务，我们说系统的可用性是100%。如果系统每运行100个时间单位，会有1个时间单位无法提供服务，我们说系统的可用性是99%。很多公司的高可用目标是4个9，也就是99.99%，这就意味着，系
2017-02-22 15:52:40
328
转载 究竟啥才是互联网架构“高并发”
一、什么是高并发高并发（High Concurrency）是互联网分布式系统架构设计中必须考虑的因素之一，它通常是指，通过设计保证系统能够同时并行处理很多请求。高并发相关常用的一些指标有响应时间（Response Time），吞吐量（Throughput），每秒查询率QPS（Query Per Second），并发用户数等。响应时间：系统对请
2017-02-22 15:01:53
464
转载 如何实施异构服务器的负载均衡及过载保护
零、需求缘起第一篇文章“一分钟了解负载均衡”和大家share了互联网架构中反向代理层、站点层、服务层、数据层的常用负载均衡方法。第二篇文章“lvs为何不能完全代替DNS轮询”和大家share了互联网接入层负载均衡需要解决的问题及架构演进。在这两篇文章中，都强调了“负载均衡是指，将请求/数据【均匀】分摊到多个操作单元上执行，负载均衡的关键在于【均匀】”。然
2017-02-22 14:50:49
351
转载 关于负载均衡
什么是负载均衡负载均衡（Load Balance）是分布式系统架构设计中必须考虑的因素之一，它通常是指，将请求/数据【均匀】分摊到多个操作单元上执行，负载均衡的关键在于【均匀】。 常见的负载均衡方案常见互联网分布式架构如上，分为客户端层、反向代理nginx层、站点层、服务层、数据层。可以看到，每一个下游都有多个上游调用，只需要做到，每一个上游都均匀访问每一个下游
2017-02-22 14:29:56
260
转载 lvs为何不能完全替代DNS轮询
上一篇文章“一分钟了解负载均衡的一切”引起了不少同学的关注，评论中大家争论的比较多的一个技术点是接入层负载均衡技术，部分同学持这样的观点：1）nginx前端加入lvs和keepalived可以替代“DNS轮询”2）F5能搞定接入层高可用、扩展性、负载均衡，可以替代“DNS轮询”“DNS轮询”究竟是不是过时的技术，是不是可以被其他方案替代，接入层架构技术演进，是本文将要细致讨
2017-02-22 14:14:37
646
转载 线程究竟怎么设置才合理
一、需求缘起Web-Server通常有个配置，最大工作线程数，后端服务一般也有个配置，工作线程池的线程数量，这个线程数的配置不同的业务架构师有不同的经验值，有些业务设置为CPU核数的2倍，有些业务设置为CPU核数的8倍，有些业务设置为CPU核数的32倍。“工作线程数”的设置依据是什么，到底设置为多少能够最大化CPU性能，是本文要讨论的问题。 二、一些共性认知
2017-02-21 17:28:29
628
转载 ID生成器
一、需求缘起几乎所有的业务系统，都有生成一个记录标识的需求，例如：（1）消息标识：message-id（2）订单标识：order-id（3）帖子标识：tiezi-id这个记录标识往往就是数据库中的唯一主键，数据库上会建立聚集索引（cluster index），即在物理存储上以这个字段排序。 这个记录标识上的查询，往往又有分页或者排序的业务
2017-02-21 16:44:49
2927
转载 秒杀系统架构优化思路
本文曾在“架构师之路”上发布过，近期支援Qcon-AS大会，在微信群里分享了该话题，故对原文进行重新整理与发布。一、秒杀业务为什么难做1）im系统，例如qq或者微博，每个人都读自己的数据（好友列表、群列表、个人信息）；2）微博系统，每个人读你关注的人的数据，一个人读多个人的数据；3）秒杀系统，库存只有一份，所有人会在集中的时间读和写这些数据，多个人读一个
2017-02-21 14:36:28
236
基于单片机的电子秤设计方案
2009-05-04
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人