- 博客(15)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 高并发架构演进之路（下）——一体化架构到微服务
一体化机构问题：1、在技术层面上，数据库连接数可能成为系统的瓶颈；资源极限，扩展困难2、继续演进研发成本、共同成本高，业务耦合大，查问题复杂，团队管理困难3、运维成本大，编译、测试上线复杂解决方案：按照业务做横向拆分的方式，解决了数据库层面的扩展性问题；将与业务无关的公用服务抽取出来，下沉成单独的服务。服务拆分时要遵循哪些原则？服务的边界如何确定？服务的粒度是怎...
2019-11-29 17:26:43
509
2
原创 高并发系统演进之路（上）--基础篇
高并发、高可用、可扩展是互联网技术井喷后软件系统演进的基本要求。性能指标：度量性能的指标是系统接口的响应时间：平均值、最大值、分位数高并发下的性能优化：1）提高系统的处理核心数， 但随着并发进程数的增加，并行的任务对于系统资源的争抢也会愈发严重。在某一个临界点上继续增加并发进程数，反而会造成系统性能的下降，这就是性能测试中的拐点模型2）减少单次任务响应时间要看你的...
2019-11-29 16:38:23
363
转载 分布式系统经典论文汇总
分布式系统领域有着最令人费解的理论，全链路的不确定性堪比物理中的量子力学。同时，分布式系统领域又有着当代最宏伟的计算机系统，Google、Facebook、亚马逊遍布全球的系统支撑着我们的信息生活。显然，能够征服分布式系统的，都是理论和实践两手抓两手都要硬的强者。然而，分布式系统领域还有着最高的上手门槛，没有大规模的基础设施、没有潮水般的流量，分布式领域幽灵般的问题并不会浮出水面。那么，我们应该如...
2019-11-26 10:41:28
5701
5
原创 python+Potrace实现自动作画——程序员的浪漫
连续看了快一个月的spark源码，吃饭脑子里蹦出来的都是rpc私有协议、DAGschedule人、TASKscheduler、调度、资源申请.....总之一句话就是看的快吐了，该换换脑子再做打算。那怎么换脑子呢，做些啥好玩有意思的事呢；看电影、看小说觉得有点浪费时间还没意思。灵光一现想到前一阵子和朋友吃饭，聊到程序员怎么样才浪漫。谈到MIT大学生黑了一栋宿舍楼做灯光秀，控制楼层显示”** ...
2019-11-22 16:19:00
7427
6
转载 python中依赖库文件管理
许多Python项目中都包含了requirements.txt文件，该文件记录了当前程序的所有依赖包及其精确版本号。生成requirement.txt文件pip freeze > requirements.txt安装requirement.txt文件依赖pip install -r requirements.txt除了使用pip命令来生成及安装requirement.txt文件...
2019-11-22 12:02:07
312
原创 spark源码阅读——搭建和源码工程师一样的开发环境
阅读好的开源项目是最好的学习code的方法，在一个大型项目中会涉及到软件工程的方方面面。项目代码作为最终的落地物质，其中必然会留下很多顶尖工程师、架构师、设计团队思考的痕迹；如果从这个层面去看一个开源项目，其实至少包括三个方面：1）这个项目是如何架构的，会用到哪些关键技术2）实现这些设计是怎么落到code层面，利用了哪些技巧3）利用了哪些好的库和管理的工具方法理念学习...
2019-11-20 15:05:35
273
转载 Spark2源码阅读——内存分配
Spark 作为一个基于内存的分布式计算引擎，其内存管理模块在整个系统中扮演着非常重要的角色。理解 Spark 内存管理的基本原理，有助于更好地开发 Spark 应用程序和进行性能调优。本文旨在梳理出 Spark 内存管理的脉络，抛砖引玉，引出读者对这个话题的深入探讨。本文中阐述的原理基于 Spark 2.1 版本，阅读本文需要读者有一定的 Spark 和 Java 基础，了解 RDD、Shuff...
2019-11-15 16:58:09
164
转载 Spark2源码阅读——内存分配
Spark 作为一个基于内存的分布式计算引擎，其内存管理模块在整个系统中扮演着非常重要的角色。理解 Spark 内存管理的基本原理，有助于更好地开发 Spark 应用程序和进行性能调优。本文旨在梳理出 Spark 内存管理的脉络，抛砖引玉，引出读者对这个话题的深入探讨。本文中阐述的原理基于 Spark 2.1 版本，阅读本文需要读者有一定的 Spark 和 Java 基础，了解 RDD、Shuff...
2019-11-15 16:57:05
138
转载 Spark2源码阅读——Rpc心跳（3）
一. Spark 心跳概述前面两节中介绍了 Spark RPC 的基本知识，以及深入剖析了 Spark RPC 中一些源码的实现流程。具体可以看这里：Spark RPC 框架源码分析（二）运行时序 Spark RPC 框架源码分析（一）简述这一节我们来看看一个 Spark RPC 中的运用实例 -- Spark 的心跳机制。这次主要还是从代码的角度来看。image我们首先要...
2019-11-15 16:36:01
424
转载 Spark2源码阅读——Rpc（2）
一. Spark RPC 概述概述上一篇我们已经说明了 Spark RPC 框架的一个简单例子，以及一些基本概念的说明。这一篇我们主要讲述其运行时序，从而揭露 Spark RPC 框架的运行原理。我们将分为两部分，分别从服务端和客户端来看。所用 spark 版本：spark 2.1.0二. Spark RPC 服务端我们以上一篇 HelloworldServer 为线索，深入到 S...
2019-11-15 16:27:49
136
转载 Spark2源码分析系列——RPC（1）
一. Spark rpc概述首先说明RPC，引用百度百科：RPC（Remote Procedure Call）—远程过程调用，它是一种通过网络从远程计算机程序上请求服务，而不需要了解底层网络技术的协议。RPC协议假定某些传输协议的存在，如TCP或UDP，为通信程序之间携带信息数据。Spark RPC可以说 是 Spark 分布式集群的基础，若是将 Spark 类比为一个人的话，Spar...
2019-11-15 16:01:16
136
转载 图神经网络综述
文章目录1 简介 1.1 GNN简史 1.2 GNN的相关研究 1.3 GNN vs 网络嵌入 1.4 文章的创新性 2 基本的图概念的定义 3 GNN分类和框架 3.1 GNNs分类 3.2 框架 4 图卷积网络 4.1 基于图谱的GCN 4.1.1 图信号处理 4.1.2 基于谱的GCN方法 4.1.3 总结 4.2 基于空间...
2019-11-07 17:09:34
15614
2
转载 图嵌入模型综述
最近在学习Embedding相关的知识的时候看到了一篇关于图嵌入的综述，觉得写的不错便把文章中的一部分翻译了出来。因自身水平有限，文中难免存在一些纰漏，欢迎发现的知友在评论区中指正。目录一、图嵌入概述二、图嵌入的挑战三、图嵌入的方法1.基于因子分解2.基于word2vec思路3.基于深度学习4.混合方法一、图嵌入概述图，如社交网络、单词共存网络和通信网络，广...
2019-11-07 16:07:06
8318
3
转载 Spark Standalone架构设计要点分析
Apache Spark是一个开源的通用集群计算系统，它提供了High-level编程API，支持Scala、Java和Python三种编程语言。Spark内核使用Scala语言编写，通过基于Scala的函数式编程特性，在不同的计算层面进行抽象，代码设计非常优秀。RDD抽象RDD（Resilient Distributed Datasets），弹性分布式数据集，它是对分布式数据集的一种内存...
2019-11-05 15:13:42
192
转载 spark任务调度——梳理龙骨
一直对高性能分布式计算很感兴趣，想找个时间好好梳理下这方面知识点。三个月前终于开始行动，每天利用地铁和午休时间啃了些论文和微软亚洲研究院出版《分布式机器学习-算法、理论与实践》、《spark内核设计的艺术-架构设计与实现》《深入理解spark：核心思想与源码》、李沐博士的几篇paramserver的论文，以及广读csdn、知乎这方面博客。最近在结合开源项目spark、ps-lite、以及基于这些框...
2019-11-01 19:25:35
235
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人