奔向云计算的笨鸟的专栏

本人长期在云计算方面工作,精通OpenStack,开发过混合云项目,做过网络智能运维工具开发,当前投入到边缘云。联系方式:yibo_grace@163.com...

活学活用golang的反射机制

了解和使用golang有一段时间了,由于项目比较赶,基本是现学现卖的节奏。最近有时间会在简书上记录遇到的一些问题和解决方案,希望可以一起交流探讨。 需求 在golang中,给定一组数据,例如 map[string]interface{}类型的数据,创建一个对应的struct并赋值 简易实现 ...

2019-06-13 17:36:28

阅读数 23

评论数 0

基于热点发现的本地缓存的架构设计

基于流式计算技术的缓存热点自动发现 其实这里关键的一点,就是对于这种热点缓存,你的系统需要能够在热点缓存突然发生的时候,直接发现他,然后瞬间立马实现毫秒级的自动负载均衡。 那么我们就先来说说,你如何自动发现热点缓存问题?首先你要知道,一般出现缓存热点的时候,你的每秒并发肯定是很高的,可能每秒都...

2019-05-25 20:41:53

阅读数 12

评论数 0

golang版本的数据库迁移工具(数据库升级回滚)

我们在工作中,总会用到数据库升级回滚、版本管理用具,最近迷恋go语言的工具,所有就开始使用golang版本的数据库迁移工具 1、数据库迁移 darwin- Go 实现的数据库 schema 演进库 goose- 数据库迁移工具。可通过创建增量 SQL 或 Go 脚本来管理数据库的演变 go...

2019-05-15 20:28:34

阅读数 18

评论数 0

go mod 设置代理下载依赖包,溜溜的

最近在做数据库迁移的问题,用到了go版本的migrate工具,这个工具有个bug,需要下载源代码进行编译,苦于go mod下载google的依赖包都不能下载下来,所以想办法来进行下载。 数据库迁移源代码git: git clone -b v4.3.1 https://github.com/go...

2019-05-15 11:40:56

阅读数 14

评论数 0

LVS简介以及集群部署方式

1、LVS简介 LVS的IP负载均衡技术是通过IPVS模块实现的。IPVS模块是LVS集群的核心软件模块,它安装在LVS集群作为负载均衡的主节点上,虚拟出一个IP地址和端口对外提供服务。用户通过访问这个虚拟服务(VS),然后访问请求由负载均衡器(LB)调度到后端真实服务器(RS)中,由R...

2019-05-06 17:41:00

阅读数 17

评论数 0

KAFKA高性能吞吐架构设计

页缓存技术 + 磁盘顺序写 首先 Kafka 每次接收到数据都会往磁盘上去写,如下图所示: 那么在这里我们不禁有一个疑问了,如果把数据基于磁盘来存储,频繁的往磁盘文件里写数据,这个性能会不会很差?大家肯定都觉得磁盘写性能是极差的。 但是实际上 Kafka 在这里有极为优秀和出色的...

2019-05-06 08:30:58

阅读数 14

评论数 0

Istio学习文档(envoy流量劫持原理,istio的介绍原理)

1、理解 Istio Service Mesh 中 Envoy 代理 Sidecar 注入及流量劫持理解 Istio Service Mesh 中 Envoy 代理 Sidecar 注入及流量劫持 2、Istio 中的 Sidecar 的流量路由详解 3、Envoy 官方文档中文版 4、Is...

2019-04-23 09:37:31

阅读数 73

评论数 0

全局负载均衡(GSLB)的实现方案

What is GSLB Global Server Load Balancing 中文:全局负载均衡 SLB(Server load balancing)是对集群内物理主机的负载均衡,而GSLB是对物理集群的负载均衡。 这里的负载均衡可能不只是简单的流量均匀分配,而是会根据策略的不同实现不...

2019-04-20 16:15:44

阅读数 31

评论数 0

容器云网络流入架构设计学习

方案一: 使用使用gorouter+haproxy作为流量入口,confd作为配置更新 Gorouter 项目地址:https://github.com/cloudfoundry/gorouter/ Gorouter来源于CloudFoundry。是一个高性能、轻量级的路由器及负载,它是整...

2019-04-18 17:21:10

阅读数 25

评论数 0

Istio设计理念、核心功能原理及运行流程

Istio 的起源 为了实现由 William Morgan 提出的微服务 Service Mesh 模式和诸多理念,Google , IBM 和 Lyft 这三家公司协同研发,并于 2017 年 6 月 8 日( 根据 Github 最后一次提交的时间 )发布了 Istio 的第一个发行版——...

2019-04-17 17:20:56

阅读数 32

评论数 0

分布式ID(唯一性)的生成方法

我们在开发分布式系统的时候,我们对数据库的中的ID要保证唯一性,在数据库分库分表的时候,我们可能利用id的唯一性。 今天介绍一种生成分布式ID的方法 SnowFlake 算法,是 Twitter 开源的分布式 id 生成算法。其核心思想就是:使用一个 64 bit 的 long 型的数字作为全...

2019-04-11 16:45:16

阅读数 83

评论数 0

go Context编程

在GO中,我们需要有能力管理并发运行中的goroutine,主要是指它的生命周期。那些失去控制的goroutine可能会进入某个死循环,从而导致其它等待中的goroutine死锁或运行太久。理想情况是,可以终止这些goroutine或使它们不太好的超时退出。 可以基于context编程。Go 1...

2019-04-10 14:18:41

阅读数 26

评论数 0

golang加载双向认证加密的证书key文件

证书的key是可以加密保存的,我们需要进行解密加载 func MyLoadX509KeyPair(certFile, keyFile, password string) (tls.Certificate, error) { certPEMByte, err := ioutil.ReadF...

2019-03-29 17:27:01

阅读数 62

评论数 0

【转】Nginx 多进程高并发、低时延、高可靠机制在滴滴缓存代理中的应用

开发背景 现有开源缓存代理中间件有twemproxy、codis等,其中twemproxy为单进程单线程模型,只支持memcache单机版和redis单机版,都不支持集群版功能。 由于twemproxy无法利用多核特性,因此性能低下,短连接QPS大约为3W,长连接QPS大约为13W; codi...

2019-03-19 19:10:34

阅读数 56

评论数 0

推荐300 道 Python 面试题

作者主要从 Python 基础、高级语句、网页应用、数据库和测试等角度提问,读者可只关注自己需要的领域。目前该项目已经完成了很多基础和高级面试题,供大家参考。 项目地址:https://github.com/kenwoodjw/python_interview_question 继续上干货...

2019-03-14 19:32:08

阅读数 201

评论数 0

高性能容器虚拟RDMA网络:FreeFlow

大型云应用开发者一直在追求高性能、低运维成本和高资源利用率,导致容器化和远程直接内存访问(RDMA)网络技术被越来越多的采用。 容器 [7,11,6] 提供的轻量级隔离和可移植性,降低了部署和管理云应用的复杂性 (从而降低了成本)。因此,现在容器成为管理和部署大型云应用的实际方式。 因为与基于...

2019-03-13 15:56:14

阅读数 76

评论数 0

ip地址的asn的查询方法

最近在做全球IP的扫描,会用asn的信息 asnlookup工具可以提供扫描功能:https://github.com/yassineaboukir/Asnlookup 我们也可以在这里下载asn的信息: https://geolite.maxmind.com/download/geoip/...

2019-02-02 10:48:39

阅读数 241

评论数 0

大家都苦练内功吧,去南郭化和平庸化

18年已经过去了,19年即将来临。19年更加艰难。我们程序员需要苦练内功,扎实的工作才能在职场发展。 2019年的趋势判断: 2019年,整体面临的不确定不稳定因素增多,据摩根士丹利预计,全球经济增长将从2018年的3.8%降至2019年的3.6%,发达经济体增长缓慢,新兴市场企稳。在此背景下...

2019-01-28 16:47:09

阅读数 280

评论数 0

系统化的了解一下微服务

系统的学习一下微服务,微服务的一些概念,并且在使用微服务的时候注意事项。 什么是微服务? 在介绍微服务时,首先得先理解什么是微服务,顾名思义,微服务得从两个方面去理解,什么是"微"、什么是"服务", 微,狭义来讲就是体积小...

2019-01-28 14:28:31

阅读数 32

评论数 0

系统高并发的思路发现

  (1)一道面试题的背景引入 这篇文章,我们聊聊大量同学问我的一个问题,面试的时候被问到一个让人特别手足无措的问题:你的系统如何支撑高并发? 大多数同学被问到这个问题压根儿没什么思路去回答,不知道从什么地方说起,其实本质就是没经历过一些真正有高并发系统的锤炼罢了。 因为没有过相关的项目经...

2019-01-22 20:25:01

阅读数 23

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭