基础技术
文章平均质量分 93
互联网分布式操作系统的基本技术
软件真理与光
一个互联网业务研发的老兵,专注后端领域、擅长业务及基础技术。
展开
-
【流式计算系列day4】Streaming流式架构101—它是什么?
Streaming101起源于在O'really上发表的两篇博客,原文如下:https://www.oreilly.com/ideas/the-world-beyond-batch-streaming-101https://www.oreilly.com/ideas/the-world-beyond-batch-streaming-102其中对流式计算的设计理念做了非常透彻的介绍。现存的系统如...原创 2020-03-10 19:42:41 · 62474 阅读 · 0 评论 -
【稳定性day11】微信春节红包的高可用架构 - 十亿流量的挑战
本文来自微信方乐明老师的分享。微信红包介绍微信红包从 2014 年开始发展到现在 2017 年,中间经历了 3 年时间。在这三年的时间里,整个系统可用性产生了较大的提升。2015 年年初的时候,每天晚上九点钟是微信红包的业务高峰期,系统经常性地出现性能问题。到了 2017 年的今天,即使在节假日高峰期,系统也不会出现问题。如上图所示,微信红包的业务包含包、发、抢、拆、查询发送...转载 2020-02-19 17:22:48 · 65993 阅读 · 0 评论 -
【稳定性day10】美团MySQL的高可用架构 - 对标业内的一些解决方案
本文来自美团蔡金龙老师的分享,介绍了最近几年美团点评MySQL数据库高可用架构的演进过程,以及我们在开源技术基础上做的一些创新。同时,也和业界其它方案进行综合对比,了解业界在高可用方面的进展,和未来我们的一些规划和展望。MMM在2015年之前,美团点评(点评侧)长期使用MMM(Master-Master replication manager for MySQL)做数据库高可用,积累...转载 2020-02-19 17:18:17 · 50567 阅读 · 0 评论 -
【稳定性day9】有赞混沌工程的实践 - 不能消灭Bug还不如与之做朋友
本文来自有赞孙军老师的分享。随着摩尔定律的终结,单机计算性能已达到了极限,然而,我们的软件系统不论是规模还是复杂度一直在增长,所以软件系统都不约而同的朝着分布式化方向发展。近年来,随着云服务、容器的出现,某些分布式系统也更容易微服务化。抛开这些形形色色的分布式技术,我们对系统可靠性的述求却是一致的:分布式系统需要高可用,即使出现了单点或集群故障,也希望系统具备自我恢复或优雅降级的弹性能力、...转载 2020-02-19 16:30:45 · 50084 阅读 · 0 评论 -
【稳定性day8】付钱拉支付系统的高可用之路 - 避免和歼灭的两种打法
本文来自当当付钱拉冯忠旗老师的分享。对于互联网应用和企业大型应用而言,多数都尽可能地要求做到7*24小时不间断运行,而要做到完全的不间断运行可以说“难于上青天”。为此,对应用的可用性程度一般衡量标准有三个9到五个9。对于一个功能和数据量不断增加的应用,要保持比较高的可用性并非易事。为了实现高可用,付钱拉从避免单点故障、保证应用自身的高可用、解决交易量增长等方面做了许多探索和实践。...转载 2020-02-19 15:32:10 · 50432 阅读 · 0 评论 -
【稳定性day7】mPaaS - 蚂蚁金服高可用的产品化之路
本文来自蚂蚁金融梁耀斌老师的分享。背景今天,我主要来介绍蚂蚁金融智能科技对外输出时,在高可用领域面临了怎样的架构挑战与解决方案。在具体内容展开之前,我们先认识下蚂蚁金服智能科技团队目前对外输出的技术产品体系,通过“BASIC”便可基本概括五大产品方向:Blockchain (区块链)、Artificial-Intelligence(人工智能)、Security(安全)、 IoT(物联...转载 2020-02-19 15:25:50 · 49557 阅读 · 0 评论 -
【稳定性day6】大众点评高可用的方法与实践
本文来自大众点评陈一方老师的分享。1.可用性的理解理解目标业界高可用的目标是几个9,对于每一个系统的要求是不一样的。对研发人员来说,在设计或者开发系统时要知道用户规模和使用场景,以及可用性的目标。比如5个9的目标能分解:全年故障5分钟。图1 可用性的目标分解拆解目标几个9的目标比较抽象,需要对其进行合理的分解,可以分解成如下两个子目标:频率要低:减少出...转载 2020-02-19 15:22:24 · 47575 阅读 · 0 评论 -
【稳定性day13】关于高可用的一个思考框架
本文来自kriszhang老师的分享。针对高可用的方法,思考框架如下: 指导原则 高可用 事前 副本技术 隔离技术 配额技术 探知技术 预案 监控和报警 降级 回滚 failXXX系列 高并发 多线程 ...转载 2020-02-19 14:18:36 · 28086 阅读 · 0 评论 -
【稳定性day14】BASIC技术架构—蚂蚁金服十五年的演进之路
蚂蚁金服过去十五年,通过技术重塑了支付服务、小微贷款服务。我们认为 Blockchain (区块链)、Artificial intelligence(人工智能)、Security(安全)、 IoT(物联网)和 Cloud computing(云计算),这五大 BASIC 技术仍会是金融科创新发展的基石。但是,在 BASIC 技术中最基础的能力是计算能力,只有不断提升计算能力,才能适应未来应用场...原创 2020-02-13 16:53:24 · 3080 阅读 · 3 评论 -
【稳定性day15】饿了么监控平台的架构与演进
针对对饿了么、监控平台体系化的一篇介绍。运维行业流传着一句话:“无监控,不运维”,监控的重要程度可见一斑。饿了么的监控痛点与架构设计。与其它行业相比,外卖行业最显著的特点就是它的高峰和低谷是非常明显的,一般集中在中午的 10 点到 12 点和晚上的 5 点到 8 点,这样的瞬时高峰对于整个系统的压力会非常大,监控系统也不例外。据黄杰介绍整个饿了么的业务发展是超高速的:“我加入饿了么的第一年...原创 2020-02-13 16:56:09 · 1022 阅读 · 2 评论 -
【稳定性day1】从DBA到运维架构总监之路 - 专注的力量
本文来自宝宝树运维总监刘秋岐的分享。随着MySQL的不断成熟,逐渐被用于更多大规模的网站和应用了,比如说当前最火的Facebook、淘宝、阿里、兰亭集势、宝宝树这样的大型的网站都在使用MySQL数据库,足见MySQL在稳定可靠性方面,并不会比我们的商业厂商的产品有太多的逊色。本期访谈我们邀请到了宝宝树(全球第一的母婴社区)网站架构运维总监刘秋岐,他对Mysql在互联网多种业务场景下的设计和优化有着...原创 2020-02-18 13:30:24 · 9980 阅读 · 8 评论 -
TiDB的设计哲学——Make It Work! Make It Right! Make It Fast!
一、最初的三个基本信念本次分享题目是《TiDB 的架构演进哲学》,既然讲哲学那肯定有故事和教训,否则哲学从哪儿来呢?但从另外的角度来说,一般大家来讲哲学就先得有信念。有一个内容特别扯的美剧叫做《美国众神》,里面核心的一条思路是“你相信什么你就是什么”。其实人类这么多年来,基本上也是朝这条线路在走的,人类对于未知的东西很难做一个很精确的推导,这时信念就变得非常重要了。图 1 最初的基本信...原创 2020-02-13 16:17:02 · 1396 阅读 · 0 评论 -
关于未来—大数据技术趋势的两点判断
两点趋势:计算与存储分离、实时与离线一体背后逻辑是:系统具备SCALE的能力,统一一种数据处理方式。阿里专家的采访InfoQ:您曾经负责阿里巴巴多个不同业务线的搜索与广告引擎,能否请您给我们整体梳理一下这几年阿里不同搜索与广告引擎的技术演进脉络?比如可以分成哪些阶段?不同阶段技术上的侧重点有何不同?胡月军: 近年来,伴随着电商平台商品量的大量丰富,基于实时推荐的智能化...原创 2020-02-13 10:31:54 · 903 阅读 · 1 评论 -
Google基础设施架构的安全设计
底层基础设施安全设计一、物理基础架构安全谷歌数据中心包括了生物识别、金属感应探测、监控、通行障碍和激光入侵感应系统等多层物理安全保护,并做了严格的限制访问。因为谷歌的某些服务托管在第三方数据中心,为了确保绝对的安全控制,必须部署此类高度安全措施。硬件设计部署谷歌数据中心网络由数千台服务器组成,这些服务器的主板和网络设备都由谷歌自行定制设计,相关设备组件和供应商都必须经过严格...原创 2020-02-12 01:25:08 · 1369 阅读 · 2 评论 -
Java11的一种新垃圾回收器—ZGC
Java 11的新功能已经完全冻结,其中有些功能绝对非常令人兴奋,本文着重介绍ZGC。Java 11包含一个全新的垃圾收集器--ZGC,它由Oracle开发,承诺在数TB的堆上具有非常低的暂停时间。 在本文中,我们将介绍开发新GC的动机,技术概述以及由ZGC开启的一些可能性。那么为什么需要新GC呢?毕竟Java 10已经有四种发布多年的垃圾收集器,并且几乎都是无限可调的。 换个角度看,G1是...原创 2020-02-12 01:23:33 · 1988 阅读 · 2 评论 -
美国标准的网络安全体系架构
网络安全体系是一项复杂的系统工程,需要把安全组织体系、安全技术体系和安全管理体系等手段进行有机融合,构建一体化的整体安全屏障。针对网络安全防护,美国曾提出多个网络安全体系模型和架构,其中比较经典的包括PDRR模型、P2DR模型、IATF框架和黄金标准框架。PDRR模型PDRR模型由美国国防部(DoD)提出,是防护(Protection)、检测(Detection)、恢复(Recov...原创 2020-02-12 01:17:25 · 3828 阅读 · 1 评论 -
Shopee的数据库选型之路
Shopee 于 2015 年底上线,是东南亚地区领先的电子商务平台,覆盖东南亚和台湾等多个市场,在深圳和新加坡分别设有研发中心。本文系 Shopee 的分布式数据库选型思路漫谈。因为是“漫谈”,可能不成体系,但会着重介绍一些经验以及踩过的坑,提供给大家参考。1Shopee 的数据库使用情况Shopee 在用哪些数据库?先说一下当前 Shopee 线上在用的几种数据库: 在 S...原创 2020-02-12 01:06:05 · 1228 阅读 · 1 评论 -
算法交易系统的数据库之路
所有软件系统中都必须包含一项关键组件,那就是用于存储、检索和分析数据的数据库。本文中,我们将和大家一起探讨适用于算法交易平台的数据库都会有哪些特性?有哪些可选择的数据库?从广义层面来看,数据库提供了记录和管理数据(OLTP)和分析数据(OLAP)的能力。大多数数据库会擅长其中一种能力,同时在某些指标具备优势,而在另一些方面则有所欠缺。举例来说,擅长一致和持久事务的关系型数据库可能在性能方面表现...原创 2020-02-12 01:04:25 · 1230 阅读 · 2 评论 -
各大互联网公司的技术体系(美团点评/阿里巴巴)
阿里巴巴、美团点评的资料分类:公司 分类 2017 2018 2019 美团点评 综述 http://dpurl.cn/n/1lqcX http://dpurl.cn/iLGBtuS http://dpurl.cn/9zvkFYe 前端 http://dpurl.cn/DWVhPpS http:...原创 2020-01-22 13:17:40 · 2092 阅读 · 1 评论 -
历年Gather技术趋势及演进汇总(免费下载)
技术犹如一条大江大河,Gather的技术趋势为我们提供了一个权威观点。Gather技术趋势及演进汇总(2015-2020)如下:目录Gather技术趋势2020Gather技术趋势2019Gather技术趋势2018Gather技术趋势2017Gather技术趋势2016Gather技术趋势2015Gather技术趋势2020Gather技术趋势2019...原创 2020-01-26 08:52:39 · 671 阅读 · 2 评论 -
云12因素
https://12factor.net/原创 2019-07-29 10:47:56 · 301 阅读 · 0 评论 -
迎难而上 数据库管理员怎样走向成功?(转)
数据库管理员,英文是Database Administrator,简称DBA。数据管理员是指一个负责管理和维护数据库服务器的人。 DBA是一份清闲的工作,还是复杂且须付出心力的重任?把DBA作为一个可能的职业选择的原因是什么呢? 如何确认应不应该从事DBA这样的职业?中国IT实转载 2011-07-19 21:28:52 · 1195 阅读 · 0 评论 -
LINUX中断描述符初始化
LINUX中断描述符初始化@CopyLeft by ICANTH,I Can do ANy THing that I CAN THink!~Author: WenHui, WuHan University,2012-6-4http://www.cnblogs.com/icanth/archive/2012/06/04/2535251.html硬件产生原创 2012-06-04 21:39:29 · 2854 阅读 · 0 评论 -
Linux 内核 LOCK_PREFIX 的含义
发信人: RoachCock (安息吧), 信区: KernelTech标 题: 终于弄明白了 Linux 内核的 LOCK_PREFIX 的含义发信站: 水木社区 (Fri Mar 13 02:32:32 2009), 站内x86 架构的内核实现原子整数的时候,用到了 LOCK_PREFIX 这个宏static __inline__ void atomic_add(in转载 2012-06-14 14:37:35 · 3039 阅读 · 1 评论 -
LINUX内核之内存屏障
@CopyLeft by ICANTH,I Can do ANy THing that I CAN THink!~Author:WenHui,WuHan University,2012-6-4源地址:http://www.cnblogs.com/icanth/archive/2012/06/10/2544300.html内存屏障(Memory Barriers)原创 2012-06-11 10:33:30 · 8219 阅读 · 0 评论 -
LINUX内核狂想曲之SLOB分配器
LINUX内核狂想曲@CopyLeft by ICANTH,I Can do ANy THing that I CAN THink!~Author: WenHui, WuHan University,2012-5-12Version:v1.0Last Modified Time: 2012-5-20SLOB概述SLOB(Simple List Of原创 2012-05-21 09:26:20 · 2725 阅读 · 0 评论