淘宝客户端安全生产体系建设，5214页PDF的进阶架构师学习笔记

为此淘宝客户端建立了“‘研发、构建、发布、应急’一整套规范化流程及平台”。

图1 安全生产架构图

淘宝客户端安全生产，主要分四个阶段：研发期、构建期、发布期和应急态，同时沉淀开发过程数据，围绕数据线上线下异常复盘，为提升代码质量、提升开发能力，进一步完善平台做数据支持，从而提升开发的良好研发环境，保障线上用户使用体验。

1. 研发期：这一阶段主要是指开发同学把需求开发的阶段，往往是单模块的开发，这一阶段主要关注模块自身的质量，这一阶段安全生产平台主要通过需求管理、代码分支管理、单测管理、Code Review、测试请求|审批，一站式的方式为开发同学提供便利；

2. 构建期：这一阶段主要是指开发同学把已经通过测试的代码，将代码提交到集成区做代码的集成测试，这一阶段安全生产平台主要通过质量卡口、包大小分析、产物校验来确保集成进来的模块是否满足集成标准（重复的资源文件、代码等或高危的隐私API、调试代码等或不合理的组件导出、DEBUG代码等），通过前置风险分析，防止风险代码集成；

3. 发布期：这一阶段主要在通过测试后发布（灰度、正式）完整的APP、配置变更、活动上线下线，这一阶段需关注APP稳定性数据、性能数据、业务数据与舆情数据（端到云的监控方案），确保发布的APP满足用户的体验要求；

4. 应急态：前三个阶段主要是规避线上风险线，这一阶段则是在线上APP无法满足用户正常使用时所进入的状态，线上核心指标波动，会触发及时告警，从而通过钉钉快速组建应急小队，对线上问题进行处理，分析问题及问题背后的原因，快速给出解决方案，通过预案回滚、降级处理等手段快速化解线上风险，从而避免风险升级，防止故障产生。

另外为了确保线上APP的高可用体验，淘宝端架构专门成立了“端侧日常保障”小组，主要从事版本值班、大促保障、应急处理、复盘优化等工作，从日常工作中不断的发现问题、总结思考、优化流程、改进研发环境，不断把部分需要人工介入的流程自动化、数据化、平台化，从而提高“研发、构建、发布、应急”阶段的研发体验和研发效率，最终把人力从重复的、低效的工作中释放出来，通过过程数据不断优化安全生产平台体验，从而保障上层业务健康持续发展。让开发有更多的时间和精力从事更高维度的研发工程，提升开发的成就感。

研发期

研发期主要是开发同学开发为主，这里平台提供了代码覆盖率（单测），核心模块中间件的单测代码覆盖率需要满足80%及以上，核心变更需要双人CR（含TL），非核心变更需要技术专家及以上CR。

构建期

▐  质量卡口

随着淘宝业务不断扩张，线上问题时有发生，淘系的场景非常丰富，本地的测试、Review、Monkey、甚至灰度等手段都不能覆盖到所有的场景。但问题一旦到了线上，所花费的成本都急剧增加。

经过对历史线上问题进行一些分析，发现其中的相当一部分问题，可以通过 “静态代码分析”， “二进制产物分析” 等方法提前发现，那么为什么不能用技术的手段来提前发现问题，阻断它们溜到线上呢。例如：

1. 同名 Category 方法冲突问题, 导致手淘很多功能异常；

2. @{} 初始化没判空问题；

3. oc block持有 c++ this指针导致 User After Free 问题；

4. objc_msgSend 发送 alloc 导致内存泄露问题；

5. 一些系统api不再安全，比如vm_remap；

6. 组件导出；

7. 线程泄漏；

8. …

这些问题上线后可能就引起很难定位的问题，但是在代码阶段，通过静态分析等手段就可以阻断他们的发生。因此客户端质量卡口平台应运而生，将手淘客户端已有问题扫描工具和规则整合，结合DevSecOps卡口设计的开放卡口接入平台，形成完整的客户端线下问题发现、治理推动和集成卡口的能力，减少线上问题。

技术方案上，在Android Lint+Spotbugs+Clang Static Analyzer（Android），OCLint（iOS）+Clang Static Analyzer基础上结合淘系具体平台和具体问题进行改进，以满足淘系的技术需求（如扫描线程原生接口使用，辅助淘系整体线程架构迁移）。

▐  包大小

包大小是客户端的非常重要的性能指标。从用户视角看，同样的功能和服务，用户倾向于选择安装包比较小的App，可以让用户用更少的流量下载和更新，一定程度提高用户的下载率和更新升级率，对于推广和新增都会有较为重要的影响；从技术视角看，安装包中的每个文件都在瘦身的范围，对不同的文件类型，需要有针对性的瘦身方案，所以瘦身是一个大工程，包含了很多方面的技术。

Android采用了图片压缩（TinyPng，Webp），重复资源合并、shrinkResource 严格模式、分包、Proguard、ARSC瘦身、下无用代码（代码插桩分析）、无用业务下线、远端so、检测so调试信息。

iOS采用了图片压缩（TinyPng，Webp）、编译优化（不导出符号、oz、lto）、selectorRef无用资源下线，剔除重复代码、业务下线、共享动态库技术（<iOS9）、Ld链接器压缩。

▐  产物校检

产物校验发生在APP发布前的最后一个环节，主要来分析本次发布与上一次发布核心变更存在哪些具体的差异，来确保本次发布的正确性。这一环节主要进行了核心代码变更分析（启动、CrashSDK、监控SDK），需要关注核心代码变更带来的可能的风险；组件导出分析，防止不必要的组件导出，受到外部攻击；签名校验，防止签名出错导致APP无法正常上架；等等。

发布期

▐  监控告警

淘系高度重视手机用户的稳定性和性能，通过高可用的度量指标的建立，稳定性和性能的治理，自动化和数据平台的建设，开发了一套系统化的解决方案及平台EMAS-MOTU,全方位的提升手机淘宝稳定性和性能。

▐  变更管控

淘系是一个高频活动运营APP集，我们发现有一些故障是由变更导致的（含活动上线，配置上线等），具有强相关性。因此淘系沉淀了变更管控平台，变更管控平台主要作用是监控分析平台发现的异常数据（Crash、ANR、卡断、泄漏等）与变更的相关性。

变更管控平台的核心思路是为每一次变更产生一个唯一的变更ID，并在本次变更下发的过程中，将变更ID加入到监控信息的变更ID集里，当监控信息上报时会带上所有的变更ID，服务可以对变更ID进行聚类分析，通过相关性确认相同聚类问题是由哪些变更ID产生的，并对具体的变更留观或回滚，防止风险升级。

通过精确的变更相关灰度染色数据，管控相关灰度和全量发布，及时卡住异常发布，避免发布引起故障，同时也是提高发布效率的核心手段。

应急态

▐  定位

• 追踪、度量、日志

随着客户端功能不断细化与完善，模块化、跨团队的协同开发方式已经成为了客户端开发标准的开发方式，模块化、跨团队的协同开发方式的诞生极大提升了客户端交付与部署的效率，但同时可以看到这种模块化、跨团队的架构背后，原先运维与诊断的需求也变得越来越复杂。为了适应客户端日益增长的功能需求，需实现面向用户视角的标准化的DevSecOps诊断与分析系统，包括追踪（Tracing），度量（Metrics），日志（Logging）。

1. Tracing ：用于记录客户端行为范围内的信息，它在单次请求的范围内，处理信息。任何的数据、元数据信息都被绑定到系统中的单个事务上。例如，用户进入页面，到数据渲染的过程。它是我们排查客户端问题的利器；

2. Metrics ：用于记录可聚合的数据。他们具有原子性，每个都是一个逻辑计量单元，或者一个时间段内的柱状图。例如：队列的当前深度可以被定义为一个计量单元，在写入或读取时被更新统计；输入HTTP请求的数量可以被定义为一个计数器，用于简单累加；请求的执行时间可以被定义为一个柱状图，在指定时间片上更新和统计汇总。例如，从客户端发起的网络请求数，与正确收到网络数据的接受。它是我们衡量业务宏观质量的利器；

3. Logging ：用于记录离散的事件。例如，应用程序的调试信息或错误信息。它是我们诊断问题的依据。

基于追踪（Tracing），度量（Metrics），日志（Logging）的设计原则，淘系借鉴了OpenTracing实现了全日志平台TLog。通过漏斗模型、对比模型通过数据横向对比可以快速发现自身的性能瓶颈，缩小范围，提升排查效率。

• 全景定位

淘系是一个高频活动运营APP集，我们发现一些故障是由变更导致的（含活动上线，配置上线等），具有强相关性。因此淘系沉淀了全景定位平台，全景定位平台主要作用是监控分析线上的变更。全景定位平台的核心思路是当线上风险产生时，全景定位平台会主动去收集线上变更，并按时间维度呈现出来，开发可基于全景定位平台快速查看线上变更，定位和排查线上风险与变更的相关性，对潜在风险的变更留观或回滚，直至风险消除。

全景定位与变更管控有一定的相似性，都是对线上变更的监控与分析，区别在于全景定位主要在风险发生后对变更进行分析（业务在变化，无法保障所有的变更都会接入变更管控），变更管控则主要风险发生前打标，风险发生后对变更进行分析，因此全景定位是变更管控的一种补充与保障****。

自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。

深知大多数网络安全工程师，想要提升技能，往往是自己摸索成长，但自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年网络安全全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上网络安全知识点，真正体系化！

由于文件比较大，这里只是将部分目录大纲截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且后续会持续更新

如果你觉得这些内容对你有帮助，可以添加VX：vip204888 （备注网络安全获取）

本人从事网路安全工作12年，曾在2个大厂工作过，安全服务、售后服务、售前、攻防比赛、安全讲师、销售经理等职位都做过，对这个行业了解比较全面。

最近遍览了各种网络安全类的文章，内容参差不齐，其中不伐有大佬倾力教学，也有各种不良机构浑水摸鱼，在收到几条私信，发现大家对一套完整的系统的网络安全从学习路线到学习资料，甚至是工具有着不小的需求。

最后，我将这部分内容融会贯通成了一套282G的网络安全资料包，所有类目条理清晰，知识点层层递进，需要的小伙伴可以点击下方小卡片领取哦！下面就开始进入正题，如何从一个萌新一步一步进入网络安全行业。

学习路线图

其中最为瞩目也是最为基础的就是网络安全学习路线图，这里我给大家分享一份打磨了3个月，已经更新到4.0版本的网络安全学习路线图。

相比起繁琐的文字，还是生动的视频教程更加适合零基础的同学们学习，这里也是整理了一份与上述学习路线一一对应的网络安全视频教程。

网络安全工具箱

当然，当你入门之后，仅仅是视频教程已经不能满足你的需求了，你肯定需要学习各种工具的使用以及大量的实战项目，这里也分享一份我自己整理的网络安全入门工具以及使用教程和实战。

项目实战

最后就是项目实战，这里带来的是SRC资料&HW资料，毕竟实战是检验真理的唯一标准嘛~

面试题

归根结底，我们的最终目的都是为了就业，所以这份结合了多位朋友的亲身经验打磨的面试题合集你绝对不能错过！

一个人可以走的很快，但一群人才能走的更远。不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎扫码加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

mg.cn/img_convert/35fc46df24091ce3c9a5032a9919b755.jpeg)

面试题

归根结底，我们的最终目的都是为了就业，所以这份结合了多位朋友的亲身经验打磨的面试题合集你绝对不能错过！

一个人可以走的很快，但一群人才能走的更远。不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎扫码加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！
[外链图片转存中…(img-6VSe0Wgc-1713076822337)]