Docker的专栏

转载 怎么做验收测试？

本文是本系列文章的第四篇，也是最后一篇，主要讲述我们在Lyft面对越来越多的开发人员和服务时，如何扩展开发实践。第一部分：开发和测试环境的历史第二部分：加快本地开发的一些优化第三部分：预发布环境通过重载形式来扩展服务网格第四部分：怎么做验收测试？（本文）在之前的文章中，我们描述了如何利用上下文传播从而允许多个工程师在共享的预发环境中进行端到端测试。现在我们看看另一部分——...

转载 如何使用Nginx在公网上搭建加密数据通道？

最近在跨机房做一个部署，因为机房之间暂时没有专线，所以流量需要经过公网。对于经过公网的流量，我们一般需要做以下的安全措施：只能允许已知的 IP 来访问；流量需要加密。第一项很简单，一般的防火墙，或者 Iptables 都可以做到。对于加密的部分，最近做了一些实验和学习，这篇文章总结加密的实现方案，假设读者没有 TLS 方面的背景知识，会简单介绍原理和所有的代码解释。—1...

转载 案例：有道Kubernetes容器API监控系统设计和实践

本篇文章，将给大家分享有道容器服务API监控方案，这个方案同时具有轻量级和灵活性的特点，很好地体现了Kubernetes集群化管理的优势，解决了静态配置的监控不满足容器服务监控的需求。并做了易用性和误报消减、可视化面板等一系列优化，目前已经超过80%的容器服务已经接入了该监控系统。—1—背景Kubernetes 已经成为事实上的编排平台的领导者、下一代分布式架构的代表...

转载 一个好的预发布环境应该是怎么样的？

本系列介绍的是Lyft在面对越来越多的开发人员和服务时，如何高效扩展开发实践，本文是第三篇。第一部分：开发和测试环境的历史第二部分：优化快速本地开发第三部分：利用覆盖机制在预发环境中扩展服务网格（本文）第四部分：基于自动验收测试的部署门禁[1]在之前的文章中，我们描述了为快速迭代本地服务而设计的笔记本电脑开发工作流程。在这篇文章中，将详细介绍安全且隔离的端到端（E2E）测...

转载 分布式定时任务调度框架实践

分布式任务调度框架几乎是每个大型应用必备的工具，本文介绍了任务调度框架使用的需求背景和痛点，对业界普遍使用的开源分布式任务调度框架的使用进行了探究实践，并分析了这几种框架的优劣势和对自身业务的思考。—1—业务背景为什么需要使用定时任务调度时间驱动处理场景：整点发送优惠券，每天更新收益，每天刷新标签数据和人群数据。批量处理数据：按月批量统计报表数据，批量更新短信状态，实...

转载 媒体实测英特尔® 傲腾™ 持久内存数据曝光，DRAM 和 SSD 都沉默了

来源：英特尔数据中心众所周知，英特尔® 傲腾™ 持久内存（以下简称 PMem）是一款近年来少见的，在性能、容量和数据持久性上都让人眼前一亮的创新产品，而英特尔每每提及它时，都会用 “颠覆传统内存和存储架构”来形容它的价值。不过，“眼见为实”才会有足够的说服力。专注于企业级设备开箱和测试的媒体“无情开评”这次就通过加压实测的方式，对 PMem 的性能和特性进行了全方位的测试...

转载 如何从零开始搭建SRE？

Google在10年前创造了SRE这个工种。SRE，Site Reliability Engineering的缩写，其中site是指Website，可以翻译为网站可靠性工程。几年前资深Google SRE Chris Jones等人联合撰写了《Google SRE: How Google runs production systems》，首次向外界解密了Google的生产...

转载 一周看点 | 刘强东卸任京东集团CEO；马斯克成Twitter最大股东；理想汽车回应裁员计划传闻；巴菲特42亿美元买入惠普股份...

刘强东卸任京东集团CEO，徐雷接任京东集团宣布刘强东将不再兼任京东集团CEO一职，京东集团总裁徐雷升任。刘强东仍将继续担任京东董事局主席一职。根据公告，徐雷后续将负责京东集团各日常运营，继续向刘强东汇报，而刘强东将把更多精力投入到长期战略设计、重大战略决策部署、年轻领军人才培养和乡村振兴事业中。据接近高层人士透露，卸任京东集团CEO之后，刘强东仍会参与京东每月SEC（战略...

转载 Lyfy公司厉害，他们所有服务都能在一台开发机上运行

本系列介绍的是Lyft在面对越来越多的开发人员和服务时，如何高效扩展开发实践，本文是第二篇。第一部分：开发和测试环境的历史第二部分：优化快速本地开发环境（本文）第三部分：利用覆盖机制在预发环境中扩展服务网格[1]第四部分：通过自动化验收测试来控制发布[2]本文将专注于我们如何将优秀的开发体验带到笔记本电脑上，从而实现超快的迭代。—1—缺少内部开发循环开发人员在更改代码...

转载 谷歌公开了内部管理Infra层的两个工具的Paper

随着企业的逐步成熟，他们会开发更多工具。在Google，我们持续创建新的外部和内部服务，以及支持这些服务的基础架构。从2013年起，我们开始放弃之前用来更新和维护服务的简单的自动化工作流。每个服务都要求复杂的更新逻辑，并且还需要适应基础架构的变化，经常性的集群的启动关闭等等。配置多个，互相交互的服务的工作流变得难以维护。我们需要一种全新的方案来适应业务的增长以及所涉及到的...

转载 从C++转向最受欢迎的Rust需要注意哪些问题？

在日常开发过程中，若长期使用C++语言，在初次使用Rust的过程中可能会碰到一些问题。本文尝试从C++的角度来说明在使用Rust时需要特别注意的一些地方，特别是其中的思维方式的转变（mind shift）。—1—赋值的move语义C++ vs RustC++的赋值操作是copy语义，在不考虑优化的情况下，从语义的角度理解，赋值后内存中的某个对象即变成了两份。修改新的对...

转载 私有化云原生交付、8K 360VR直播……大厂技术专家揭秘金牌背后的“黑科技”...

2022 年的冰雪盛会早已落下帷幕，对于技术爱好者来说，这不仅仅是一场体育的盛会，也是一场技术的狂欢。在观赛方面，我们看到「5G + 8K」直播以及 VR 观赛等最新应用；在参赛方面，我们看到各种技术来辅助运动员进行科学训练；在安全方面，我们看到更高效、更智能的网络安全系统的落地；在管理方面，我们看到各种协同工具的应用。4 月 9 日，新一期《稀土掘金技术沙龙》将以“冰雪...

转载 领导说要搞微服务，我该怎么搭建开发和测试环境？

2018 年底，Lyft 工程团队完成了将原来基于 PHP 的单体架构拆分成一组由 Python 和 Go 组成的微服务。几年下来，微服务架构在允许团队之间相互独立地进行运维和交付服务方面取得了很大的成功。微服务架构带来的关注点分离让我们得以更快地进行实验和交付功能 —— 每天部署数百次 —— 而且为我们提供了一些灵活性：我们可以根据编程语言的偏好选择各自适合的场景，根据...

转载 怎么看源代码？

今天想跟大家分享下，作为技术Leader，要懂得研究和引入技术，引入的前提一定是要Hold住。怎么才叫Hold住呢？就是能精通使用它，能够深入了解它的架构、原理，能够剖析它的核心源代码。以研究Nacos为例，这次我分享下研究技术的方法，授之以渔，希望大家有所收获，当然也欢迎留言共同讨论更好的技巧。—1—官方文档，搭建demo使用很多人喜欢买书看，看别人的博客，其实都是...

转载 一周看点 | Docker创始人再创业；谷歌Fuchsia OS负责人离职；淘宝小范围内测微信支付；蒋凡卸任淘宝董事长...

Docker创始人再创业Solomon Hykes和他在Docker的同事一起创立了Dagger，日前刚刚完成了2000万美元的A轮融资。Dagger要帮助DevOps工程师们将自己的管道编写成CUE（即「配置、统一、执行」）中的声明性模型。以此为基础，工程师就能描述自己的管道、并将其中各个环节彼此对接，而且全部以纯代码形式实现。Facebook被曝雇用咨询公司抹黑Tik...

转载 英特尔打出“组合拳”，焕活分布式存储“新动能”

毫无疑问，随着数字化转型的提速，越来越多的海量数据正呈现出爆炸式增长，企业的存储基础设施也正面临着“翻天覆地”的变化，特别是新的数据形态、新的部署环境、新的安全需求，也都对存储的发展提出了新的挑战。而分布式存储凭借高安全性、可靠性、可用性以及易于扩展等特性得到了快速发展，在数据存储市场上也越来越受到高度重视。特别是在“十四五”规划中，国家更是将超大规模分布式存储技术创新列...

转载 Docker创始人再创业，拿到2000万美元融资

如今，Docker创始人Solomon Hykes已经阔别这家自己一手建立的容器技术企业近四年时间了。这四年来，Docker经历了起起落落，包括在2019年将企业业务出售给Mirantis。但作为Docker形象代言人，Hykes却一直很少涉足深层事务，只是参与了几轮融资。他究竟在忙什么？答案正是此次亮相的、刚刚完成2000万美元A轮融资的初创公司Dagger。本轮融资由...

转载 Ubuntu终于有了滚动发行版

自2004年首次亮相以来，Ubuntu一直秉持着每年两次发布的“光荣传统”。而且近二十年过去，Ubuntu的发布周期始终雷打不动。不过必须承认，半年一发布在当时还算合适，毕竟Fedora走的就是这个路子，而且更新的时间表也不是特别严格。但如今，Linux战场上已经出现一匹黑马——这就是从微不足道的Gentoo用户群中杀出一条血路的Arch Linux。虽然Arch确实拥有...

转载 Go语言高性能编程手册（万字长文）

▲点击上方“分布式实验室”关注公众号回复“1”抽取纸质技术书代码的稳健、可读和高效是我们每一个 coder 的共同追求。本文将结合 Go 语言特性，为书写效率更高的代码，从常用数据结构、内存管理和并发，三个方面给出相关建议。话不多说，让我们一起学习 Go 高性能编程的技法吧。—1—常用数据结构1.1 反射虽好，切莫贪杯标准库 reflect 为 Go 语言提供了运行...

转载 一周看点 | 腾讯回应“人员优化”；Go成大厂热门编程语言；京东开启裁员；万门大学疑似跑路...

▲点击上方“分布式实验室”关注公众号回复“1”抽取纸质技术书腾讯回应“人员优化”消息3月23日，腾讯总裁刘炽平表示，“目前，互联网行业正在遭遇结构性的挑战和改变，腾讯作为其中参与者也会主动进行调整。过去，行业是竞争驱动型，投入较大；现在，相比短期收益大家更关注长线业务发展，更健康地投入，尤其是对营销成本、运营成本和人力成本的优化。我们也对亏损业务进行了成本优化动作，以便...

转载 其域创新招聘 | 高性能计算、计算机视觉、三维算法工程师等岗位（校招/社招/实习）...

转载 中国的云计算革命尚未开始

▲点击上方“分布式实验室”关注公众号回复“1”抽取纸质技术书sh文件是操作系统的脚本代码文件，该Slogan意为避免在IT运维中使用sh脚本文件，首先由Splunk所提出最近一位朋友在他的朋友圈发了这样一张T恤的图，并且怒喷某头部云平台的运维平台产品仍然提供了代码脚本分组管理功能，并且喜滋滋地将其作为一大功能大书特书的行为，将其斥为云计算的反动派，宣传腐朽落后的技术理念...

转载 卫剑钒：Nginx不接受俄罗斯的贡献，违背开源协议了吗？

▲点击上方“分布式实验室”关注公众号回复“1”抽取纸质技术书为了节省您的时间，简单说一下结论：不违背。而且，我们很可能误解了F5的原意。报道称[1]，2022年3月15日，美国网络公司F5的CEO（FRANÇOIS LOCOH-DONOU）在F5官网博客上发表《Standing Firm in Support of the People of Ukraine》[2]一文...

转载 一套可供参考的Go微服务开发方法论

▲点击上方“分布式实验室”关注公众号回复“1”抽取纸质技术书本文从简洁架构的理论出发，依托trpc-go目录规范，简单阐述了整体代码架构如何划分，具体trpc-go服务代码实现细节，和落地步骤，并讨论了和DDD的区别。文章源于作者组内发起的Go微服务最佳实践的第一部分，希望从开发和阅读学习中总结出一套Go微服务开发的方法论，互相分享一下在寻求最佳的实践过程中的思考和取舍...

转载 解构服务风险治理

▲点击上方“分布式实验室”关注公众号回复“1”抽取纸质技术书2019年初，好大夫经历了几次严重的线上故障，面临了中间件和服务治理危机。很多故障都是因为业务系统中不规范的SQL以及慢接口造...

转载 如何设计一个敏感词匹配系统？

▲点击上方“分布式实验室”关注公众号回复“1”抽取纸质技术书谛听系统是vivo的内容审核平台，保障了vivo各互联网产品持续健康的发展。谛听支持审核多种内容类型，但日常主要审核的内容是文...

转载 10种常用的软件架构模式

▲点击上方“分布式实验室”关注公众号回复“1”抽取纸质技术书—1—分层模式（Layered Pattern (n-tier)）分层架构模式是最常见的模式之一。分层模式背后的理念是，具...

转载 容器与Pod到底有什么区别和联系？

▲点击上方“分布式实验室”关注公众号回复“1”抽取纸质技术书容器本可以成为轻量级虚拟机的替代品。但是，由于 Docker/OCI 的标准化，最广泛使用的容器形式是每个容器只有一个进程服务...

转载 Linux系统安全加固指南（万字长文）

▲点击上方“分布式实验室”关注公众号回复“1”抽取纸质技术书本指南旨在说明如何尽可能地加强Linux的安全性和隐私性，并且不限于任何特定的指南。免责声明：如果您不确定自己在做什么，请不要...

转载 SRE本质就是一个懂运维的资深开发

▲点击上方“分布式实验室”关注公众号回复“1”抽取纸质技术书有很多人问过我，想了解一下 SRE 这个岗位，这是个很大的话题，在这篇博客中把想到的一些介绍一下。SRE 到底是什么？这是一个...

转载 基于 eBPF 的 Kubernetes 问题排查全景图

▲点击上方“分布式实验室”关注公众号回复“1”抽取纸质技术书—1—当 Kubernetes成为云原生事实标准，可观测性挑战随之而来当前，云原生技术以容器技术为基础，通过标准可扩展的...

转载 字节跳动数据库的过去、现状与未来

数据库技术一直是 IT 信息技术中极其重要的一环，在步入云原生时代以后，分布式数据库系统获得了令人振奋的发展，云基础设施和数据库进一步整合，弥补了传统数据库的痛点，带来了高可扩展性、全面自...

转载 案例：vivo基于Java技术栈的实时监控系统

▲点击上方“分布式实验室”关注公众号回复“1”抽取纸质技术书—1—业务背景当今时代处在信息大爆发的时代，信息借助互联网的潮流在全球自由的流动，产生了各式各样的平台系统和软件系统，越来...

原创 怎么理解分布式链路追踪技术？

▲点击上方“分布式实验室”关注公众号回复“1”抽取纸质技术书—1—为什么需要链路追踪在学习分布式链路追踪之前，我们需要先理解这项技术产生的背景，以及它能够帮我们解决哪些棘手问题。提到...

转载 高并发是一种架构思维模式

▲点击上方“分布式实验室”关注公众号回复“1”抽取纸质技术书什么是高并发，从字面上理解，就是在某一时刻产生大量的请求，那么多少量称为大量，业界并没有标准的衡量范围。原因非常简单，不同的业...

转载 Kafka3.0新特性和源码全面曝光，真香！

项目初期，对于消息队列，你会选择Kafka、ActiveMQ还是RabbitMQ？对于这个问题，反向来看，估计很少有人会选择Kafka。而kafka3.0的诞生彻底扭转了战局！虽然凭借着高...

转载 从MVC到DDD的架构演进

▲点击上方“分布式实验室”关注公众号回复“1”抽取纸质技术书DDD这几年越来越火，资料也很多，大部分的资料都偏向于理论介绍，有给出的代码与传统MVC的三层架构差异较大，再加上大量的新概念...

转载 字节数据库技术大揭秘！

数据库技术一直是 IT 信息技术中极其重要的一环，在步入云原生时代以后，分布式数据库系统获得了令人振奋的发展，云基础设施和数据库进一步整合，弥补了传统数据库的痛点，带来了高可扩展性、全面自...

转载 云原生网络利器 Cilium 总览

▲点击上方“分布式实验室”关注公众号回复“1”抽取纸质技术书—1—背景在云原生相对成熟的今天，对于 Kubernetes 本身的能力需求，逐渐变得不那么迫切，因为常见的能力都已经成熟...

转载 壳牌公司是如何在Kubernetes上不到一天就建立了1万个AI模型的？

▲点击上方“分布式实验室”关注公众号回复“1”抽取纸质技术书现在，壳牌能够在2个小时而不是4个星期就可以建立数千个机器学习模型，同时能够有效缩短代码的编写时间，从2个星期缩短到4个小时。...