- 博客(46)
- 资源 (4)
- 收藏
- 关注
RSS订阅
原创 人工智能解决方案 --- 智能运维（AIOps）
运维背景知识A. 运维体系：SRE/CREA. Google SRE概述B. Google SRE指导思想B. Google SRE指导思想 - 拥抱风险C. Google SRE 实践C. Google SRE 实践 - 产品发布D. Google SRE 管理D. Google SRE 管理 - 培训SRED. Google SRE 管理 - SRE参...
2019-05-18 09:19:44
9928
1
原创 编译器和调试器
编译器高级语言编译器Java编译器基于MongoDB的SQL引擎MongoDB SQL引擎nasm源代码解析nasm源代码解析,main()函数部分(08.5.9~08.5.10)nasm源代码解析 报错系统(report_error)(08.5.9~08.5.10)nasm源代码解析 SAA 与 RAA部分(上)(08.5.11)nasm源代码解析 SAA 与...
2019-05-19 11:24:05
1199
原创 Lguest虚拟机
Lguest 虚拟机源码分析Lguest 虚拟机源代码分析:the asm offsetsLguest 虚拟机源代码分析:export symbols for lguest as a modLguest 虚拟机源代码分析:the Makefile and KconfigLguest 虚拟机源代码分析:the host code (一:switcher.S)Lguest 虚拟机源...
2019-05-14 22:43:54
870
原创 [博弈论]Paint Chain
Paint ChainTime Limit: 2000/1000 MS (Java/Others)Memory Limit: 32768/32768 K (Java/Others)Total Submission(s): 2741Accepted Submission(s): 995Problem DescriptionAekdycoin and abcdxyzk...
2019-05-09 23:02:35
304
原创 [博弈论]Triangulation
TriangulationTime Limit: 2000/1000 MS (Java/Others)Memory Limit: 32768/32768 K (Java/Others)Total Submission(s): 943Accepted Submission(s): 389Problem DescriptionThere are n points in...
2019-05-09 22:59:38
581
原创 [博弈论]Stone
StoneTime Limit: 2000/1000 MS (Java/Others)Memory Limit: 32768/32768 K (Java/Others)Total Submission(s): 2532Accepted Submission(s): 1791Problem DescriptionTang and Jiang are good fri...
2019-05-09 22:55:58
313
原创 [博弈论]Mine
MineTime Limit: 2000/1000 MS (Java/Others)Memory Limit: 65535/32768 K (Java/Others)Total Submission(s): 1769Accepted Submission(s): 513Problem DescriptionHave you ever played a game i...
2019-05-09 22:52:58
287
原创 [图论]Jogging Trails(旅行商问题)
Jogging TrailsTime Limit:1s Memory limit:32M Accepted Submit:56 Total Submit:144 Gord is training for a marathon. Behind his house is a park with a large network of jogging trails connecti...
2019-05-09 22:42:41
1362
原创 [图论]Boys and Girls(二分图)
Boys and GirlsTime Limit:5s Memory limit:32M Accepted Submit:73 Total Submit:276 the second year of the university somebody started a study on the romantic relations between the students. ...
2019-05-09 22:40:37
307
原创 D. 深度学习 --- 卷积神经网络
C. 卷积神经网络 概述 描述 第一点，在学习Deep learning和CNN之前，总以为它们是很了不得的知识，总以为它们能解决很多问题，学习了之后，才知道它们不过与其他机器学习算法如svm等相似，仍然可以把它当做一个分类器，仍然可以像使用一个黑盒子那样使用它。 第二点，Deep Learning强大的地方就是可以利用网络中间某一层的输出当做是数据的另一种表达，从而可以将...
2019-05-09 22:33:21
615
原创 A. 深度学习 --- 概述
A. 神经网络概述 理论基础 神经生理学 思维过程是神经元的连接活动过程，由大量突触相互动态联系着的众多神经元协同作用来实现； 大脑的思维源于从神经元到神经网络再到神经回路的功能逐级整合； 大脑对信息的加工可以理解为复杂的多次特征提取过程； 在大脑中，数据的传输和处理是同步进行的。 认知科学 简介 历史 神经活动中思想内在性的逻辑演算：神经元的表示...
2019-05-09 22:26:26
498
原创 机器学习 --- 无监督学习
C. 聚类算法 概要 距离：包括曼哈顿距离、欧拉距离等等 相似系数：主要有夹角余弦和相关系数 核函数：核函数的功能就是把数据从低维空间投影（project）到高维空间去 DTW 层次化聚类算法：该主要有两种路径：agglomerative和divisive，也可以理解为自下而上法（bottom-up）和自上而下法（top-down）自下而上算法流程：1. 将每个对象看作一...
2019-05-04 01:16:40
4447
原创 机器学习 --- 监督学习
C. 监督算法 数据 离散型 连续性 分类算法 k近邻算法kNN 贝叶斯 朴素贝叶斯算法 拉普拉斯平滑：为了避免属性携带的信息被训练集中未曾出现过的属性值所干扰。 半朴素贝叶斯分类器 Bayesian Belief Network（BBN） 线性分类 Logistic回归算法 二分类 多分类 一种改进方式是通过多...
2019-05-04 01:16:24
5438
原创 A. 人工智能 --- 算法设计步骤
A. 算法设计步骤 数据采集 数据类型 属性 数值型 字符串 类别 标签 类别 标签 数据预处理 数据采样 上采样 下采样 去除唯一属性 特征提取算法 文本 TFIDF 数据正则化，标准化 降维 PCA: 主成分分析 数据规范化 协方差矩阵计算 特征值分解...
2019-05-04 01:15:05
3107
1
原创 C. 深度学习 --- 基础组件概述(一) --- 参数调优
A. 激活函数 激活函数分类 Sigmoid函数 优点 便于求导的平滑函数 缺点 容易出现gradient vanishing 函数输出并不是zero-centered 幂运算相对来讲比较耗时 tanh函数 它解决了zero-centered的输出问题，然而，gradient vanishing的问题和幂运算的问题仍然存在。 R...
2019-05-04 01:14:52
676
原创 A. 人工智能 --- 数学基础
A. 数学基础 线性代数 基本概念 标量 向量 矩阵 范数 L1：向量绝对值之和 L2：向量的长度 LP(P趋于无穷)：向量中最大元素的取值 内积 两个向量之间的相对位置：余弦相似度 线性空间 内积空间 内积空间 正交基/标准正交基 特征值和特征向量：矩阵特征值和特征向量的动态意义在于表示了变化的速...
2019-05-03 16:39:10
1222
原创 E. 业务场景 --- 秒杀系统
E. 业务场景 --- 秒杀系统 概要 核心问题 并发读 并发写 秒杀的整体架构可以概括为“稳、准、快”几个关键字 所谓“稳”，就是整个系统架构要满足高可用 就是“准”，就是秒杀 10 台 iPhone，那就只能成交10 台，多一台少一台都不行。 最后再看“快”，“快”其实很好理解，它就是说系统的性能要足够高，否则你怎么支撑这么大的流量呢？ 架构设计原则...
2019-05-03 01:13:14
440
原创 D. 互联网架构模板
D. 互联网架构模板 架构如何演进 流派 潮流派 保守派 跟风派 架构演进的驱动力 产品类：技术创新推动业务发展 服务类：业务发展推动技术创新 答案就是基于业务发展阶段进行判断 互联网技术演进的模式 核心问题：业务复杂度和用户量 业务复杂度 初创期 发展期：当业务推出后经过市场验证如果是可行的，则吸引的用户就会越来越多，此时原来不...
2019-05-03 01:13:04
512
原创 C. 高性能架构 --- 高性能负载均衡
C. 高性能架构 --- 高性能负载均衡 概述 不同类型的请求，对网络链路要求不一样，比如说 搜索请求的要求是：延迟 视频上传的要求是：吞吐量 单从硬件来看，关于优化资源的利用率，避免某个服务器负载过高 分类 DNS 负载均衡：DNS 是最简单也是最常见的负载均衡方式，一般用来实现地理级别的均衡。 优点 简单、成本低：负载均衡工作交给 DNS 服务器处理...
2019-05-03 01:12:55
463
原创 C. 高性能架构
C. 高性能架构 基本思路 操作 并发读 并发写 技术 性能优化 限流、降级 单服务器高性能模式 关键技术 服务器采取的并发模型 问题 服务器如何管理连接。 服务器如何处理请求。 解决方案 I/O 模型：阻塞、非阻塞、同步、异步。 进程模型：单进程、多进程、多线程。 连接/请求数量 ...
2019-05-03 01:12:46
382
原创 C. 高可用架构 --- 限流降级
C. 高可用架构 --- 限流降级 概述 核心思路：优先保证核心业务和优先保证绝大部分用户 原因 内部原因：程序 bug 导致死循环，某个接口导致数据库慢查询，程序逻辑不完善导致耗尽内存等。 外部原因：黑客攻击、促销或者抢购引入了超出平时几倍甚至几十倍的用户，第三方系统大量请求，第三方系统响应缓慢等。 过载情况 数据中心大量后端任务都处于过载状态 数据中...
2019-05-03 01:12:28
435
原创 C. 高可用架构 --- 连锁故障处理
C. 高可用架构 --- 连锁故障处理 概述 由于整个系统的一小部分出现故障，进而导致系统其他部分也出现故障 原因 服务器过载：原本均衡的两个系统，由于其中一个服务出现问题，导致另外一个服务出现过载 资源耗尽 CPU，副作用： 正在处理的请求数量上升 队列过长 线程卡住 CPU死锁或者请求卡住 RPC超时 CPU缓存效率下...
2019-05-03 01:09:40
473
原创 C. 高可用架构 --- 数据完整性 --- Google SRE保障数据完整性的手段
C. 高可用架构 --- 数据完整性 ---Google SRE保障数据完整性的手段 概述 用户删除数据 用户可见的垃圾 措施 用户可以还原 好处 预防用户错误 应用程序删除数据 用户不可见，有应用程序或者存储服务软删除 措施 可以被用户支持团队或者应用程序管理员恢复 好处 防范应用程序Bug和服务管...
2019-05-03 01:08:27
722
原创 C. 高可用架构 --- 数据完整性
C. 高可用架构 --- 数据完整性 概述 数据的问题 数据的可访问性（可用性） 数据的完整性 手段：主动探测和快速修复能力 衡量指标 在线时间 延迟 规模 创新速度 隐私 备份与存档 备份：能够快速恢复 存档：存储，以满足审核，取证和合规要求 难点 核心：复制机制和冗余并不意味着可恢复性 如果该环境使用...
2019-05-03 01:07:48
525
原创 C. 高可用架构
C. 高可用架构 FMEA 具体分析方法 给出初始的架构设计图。 假设架构中某个部件发生故障。 分析此故障对系统功能造成的影响。 根据分析结果，判断架构是否需要进行优化。 FMEA 分析表 功能点 故障模式 故障影响 严重程度 故障原因 故障概率 风险程度 已有措施 规避措施 解决措施 后续规划...
2019-05-03 01:07:39
394
原创 C. 高可扩展架构 --- 微服务架构
C. 高可扩展架构 --- 微服务架构 SOA的区别 服务粒度 SOA：粗 微服务：细 服务通信 SOA：重量级，ESB 微服务：轻量级，HTTP、RPC 服务交付 SOA：慢 微服务：快 应用场景 SOA：企业级 微服务：互联网 微服务的坑 服务划分过细，服务间关系复杂 服务数量太多，团队效率急剧下降 调用链太...
2019-05-02 12:06:33
6062
1
原创 C. 高可扩展架构
C. 高可扩展架构 概述 前提：都是由普通人组成的团队，而不是高手组成的团队 基本思想：基本思想都可以总结为一个字：拆 思路：不同的拆分方式，本质上决定了系统的扩展方式 面向流程拆分：将整个业务流程拆分为几个阶段，每个阶段作为一部分。 优缺点 扩展时大部分情况只需要修改某一层，少部分情况可能修改关联的两层，不会出现所有层都同时要修改。例如学生信息管理系统...
2019-05-02 12:04:25
503
原创 B. 系统重构
B. 系统重构 概述 问题 业务已经上线，不能停下来 关联方众多，牵一发动全身 旧架构的约束 思路 1. 后台系统重构：解决不合理的耦合 2. 游戏接入系统重构：解决全局单点的可用性问题 3. 系统：解决大系统带来的开发效率问题 沟通 合纵：产品经理、项目经理沟通 核心：所以在沟通协调时，将技术语言转换为通俗语言，以事实说话，以数据说...
2019-05-02 11:53:39
824
原创 B. 系统架构设计步骤
B. 系统架构设计步骤 架构设计三原则 合适原则：合适原则宣言：“合适优于业界领先”再好的梦想，也需要脚踏实地实现！这里的“脚踏实地”主要体现在下面几个方面。 1. 将军难打无兵之仗 2. 罗马不是一天建成的 3. 冰山下面才是关键 简单原则：简单原则宣言：“简单优于复杂”。 软件领域的复杂性体现在两个方面： 1. 结构的复杂性结构复杂的系统几乎毫无...
2019-05-02 11:51:44
1591
原创 B. 应用开源项目
B. 应用开源项目 选择 1. 聚焦是否满足业务 2. 聚焦是否成熟 判断标准 版本号：除非特殊情况，否则不要选 0.X 版本的，至少选 1.X 版本的，版本号越高越好。 使用的公司数量：一般开源项目都会把采用了自己项目的公司列在主页上，公司越大越好，数量越多越好。 社区活跃度：看看社区是否活跃，发帖数、回复数、问题处理速度等。 3. 聚焦运维能力...
2019-05-02 11:49:49
661
原创 A. 系统架构理论基础（分布式） --- 数据一致性
A. 系统架构理论基础（理论） --- 数据一致性 算法 事务算法 算法 Redo算法 Undo算法 Redo/Undo算法 一致性协议 两阶段提交协议 第一阶段请求 第二阶段提交 向量时钟 RWN协议 Paxos协议 Raft协议 一致性模型 强一致性 最终一致性：最终一致性不代表不能实时修改，...
2019-05-02 11:39:04
331
原创 A. 系统架构理论基础（分布式）
A. 系统架构理论基础（分布式） CAP原则 适用的分布式系统（互联和共享数据）：1. CAP 关注的是对数据的读写操作，而不是分布式系统的所有功能。2.CAP 关注的粒度是数据，而不是整个系统。 概念描述 一致性：对某个指定的客户端来说，读操作保证能够返回最新的写操作结果。 可用性：非故障的节点在合理的时间内返回合理的响应（不是错误和超时的响应）。 分区容忍性...
2019-05-02 11:31:24
371
原创 A. 系统架构概要 --- 分布式系统 --- 数据处理
A. 系统架构概要 --- 分布式系统 ---数据处理 概述 问题 工作分发不均造成的问题 任务调度 核心：在资源成本和挤占风险之间取得平衡 低优先级运行，导致不能及时获取足够的资源 惊群效应 一个错误导致整个集群出问题 摩尔负载模式：不同任务之间或者同一个任务的不同阶段的资源共享问题 离线批处理 MapReduce 实时流式处...
2019-05-02 11:26:45
391
原创 A. 系统架构概要 --- 分布式系统 --- 任务调度
A. 系统架构概要 --- 分布式系统 --- 任务调度 基本问题 资源异质性和工作负载异质性 数据局部性 节点局部性 机架局部性 全局局部性 抢占式调度和非抢占式调度 资源分配粒度：作业级和任务级 全分或者全不分 增量满足式分配 资源储备 策略 饿死和死锁问题 资源隔离方法 资源管理与调度系统范型 集中式调度器 两级调...
2019-05-02 11:23:36
469
原创 A. 系统架构概要 --- 分布式系统
A. 系统架构概要 --- 分布式系统 概述 常见场景 脑裂问题 需要人工干预场景的灾备切换 有问题的小组成员算法 理论基础 基础算法 一致性哈希 布隆过滤器 SkipList LSM树 Merkle哈希树 Snappy与LZSS算法 Cuckoo哈希 Gossip协议 任务调度 分布式协调系统 Chubby Zooke...
2019-05-02 11:04:10
584
原创 A. 系统架构概要
A. 系统架构概要 概述 历史 第一次软件危机(20世纪60年代~20世纪70年代) 解决方案：抛弃GOTO的结构化程序通过“自顶向下、逐步细化、模块化”的方法，将软件的复杂度控制在一定范围内，从而从整体上降低了软件开发的复杂度。 第二次软件危机与面向对象(20世纪80年代) 第一次软件危机的根源在于软件的“逻辑”变得非常复杂，而第二次软件危机主要体现...
2019-05-01 20:09:04
584
原创 E. Google SRE 其他行业的经验
E. Google SRE 其他行业的经验 核心理念 灾难预案与演习 事后书写总结的文化 自动化与降低日常运维负载 结构化的，理智的决策 灾难预案与演习 核心 从组织结构层面坚持不懈地对安全进行关注 高危制造车间 ...
2019-05-01 19:04:43
483
原创 D. Google SRE 管理 - SRE参与模式
D. Google SRE 管理 - SRE参与模式 SRE为了保证该服务的可靠性，需要考虑的方面 系统的体系结构和跨服务依赖 指标的选择，度量和监控 紧急事件处理 容量规划 变更管理 性能：可用性，延迟和资源效率 对于未支持的服务，可以提供： 文档 ...
2019-05-01 19:03:11
1435
原创 D. Google SRE 管理 - 培训SRE
D. Google SRE 管理 - 培训SRE 培训课程 正确的方式 设计一个具体的，有延续性的学习体验，以便学员跟进 鼓励反向工程，利用统计学来思考问题，以及多思考问题本质 鼓励学员分析失败的案例，分享好的事后总结来阅读 创造一些受控的，但是逼真的场景让学员利用真实的监...
2019-05-01 19:00:32
1363
FOS操作系统
2008-01-26
计算机系统要素：从零开始构建现代计算机
2008-01-26
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人