神技圈子的博客

详细讲解了Redis分布式锁的使用和底层源码逻辑

详细讲解了MySQL的刷脏机制

本文深入探讨了 DPDK（Data Plane Development Kit）的内存管理机制及其对高性能数据包处理的优势

本文详细讲解了如何利用C++11来实现一个线程池

介绍了inifiniband在HPC中的应用

本文详细讲解零拷贝技术，以及kafka如何使用零拷贝及它的应用场景

对于很多程序员来说，35岁是一道坎，那么我们在职场该具备哪些能力才能做一个“常青树”呢？作为前大厂的技术专家来和你一起聊聊我们该具备哪些能力

讲师介绍：张涛，现任阿里巴巴集团的技术专家，2012工作即入职大厂，有着丰富的大型分布式系统研发经验，尤其擅长分布式原理与数据结构，并有着多年带团队经验。在多个大厂就职且担任面试官，能从行业领域给出职业生涯建议以及意见。背景介绍：现在的社会，人们产生越来越多的数据，而数据对每个人人都产生了巨大的影响。比如你去银行贷款，那么必然银行要对你做信用评估，会涉及到大数据画像等数据分析。比如美团外卖，则需要分析足够多的数据，给买卖各方做推荐引导，并同时结合大量的订单数据给骑手做配送陆续引导。所有的

问题背景本章核心目标是让大家大概了解一个完整的Apache Flink SQL Job的组成部分，以及Apache Flink SQL所提供的核心算子的语义，最后会应用Tumble Window编写一个End-to-End的页面访问的统计示例。基本原理之-SQL Job构成我们做任何数据计算都一不开读取原始数据，计算逻辑和写入计算结果数据三部分，当然基于Apache Flink SQL编写的计算Job也离不开这个三部分，如下所所示：如上所示，一个完整的Apache Flink SQL Job 由如

前言介绍了进程如何基于面向对象的封装，本章我们基于封装好的Process类来实现一种无锁版的生产者和消费者框架，用它实现了高性能文件拷贝功能。读这篇文章之前大家可以想一下如果是你，你会怎么设计这样的框架？在这个模型中作为每个生产者，如何把读取到内容发送给消费者。而作为消费者，如何把接收到的内容写入文件，并且最终保证文件内容是一致的。好了，废话不多说，我们来通过代码看下是怎么设计的吧？生产者消费者模型我们回顾一下什么是生产者消费者模型。这个模型是为了解决在整个程序过程中既要不断产生数据，又要处理数据的

文章目录业务知识技术知识逻辑部分开发部分系统运行物理架构数据模型系统维护上手实战小结大家或多或少都有接触一个已存在的系统，面对不是自己做的东西都有觉得上手有些困难，笔者想从自身的经验去谈谈如何快速上手一个陌生的系统。打算从以下几个维度去分析落地：业务知识从业务角度去学习系统，说白了就是从客户视角看系统提供了什么功能，一定是人能理解的维度，这样也方便你去理解系统。从业务下手则你需要去找设计 产品 运营等相关领域的人去了解，也有些对外的产品文档，方便用户熟悉系统的，都可以入手去学习。业务知识可以按如下

背景一面在考查技术基础首先被问到过raft协议如何选主？主挂了选出的新主如何重新进行日志复制？raft协议一直都是分布式系统一致性的难点，能讲清楚很不容易，下面我们就通过现场还原的方式讲讲该如何回答这两个问题的。现场还原Q1面试官：那你先说一下raft协议是如何选主吧？A1 我：为了保证数据一致性，最好的方式是唯一节点去读，唯一节点去写。这样的数据肯定是一致的。但是分布式架构显然不可能一个节点处理。因此raft提出在集群的所有节点中需要有一个节点来充当这个唯一节点，在一段时间内，只有这一个节点负

什么是Paxos算法一致性就是数据保持一致，在分布式系统中，理解为多个节点中数据值的一致。而一致性又分为以下两种强一致性弱一致性Paxos算法就是著名的强一致性算法。它有一个假设前提，在分布式系统中进程间通信会出现延迟、丢失、重复等现象，但是不会出现传错的现象。而Paxos就是为了保证在这样的系统中进程间基于消息传递就某个值达成一致。其实在过去很长一段时间，Paxos算法可以说是分布式共识的代名词，当前最常用的一批共识算法，比如，Fast Paxos算法，Cheap Paxos算法，R

前言 考虑到底层平台必须支撑上层的多种服务，如媒体流服务、深度学习计算框架等，如果采用传统的基于MapReduce分布式计算框架必将带来扩展性差、资源利用率低、无法支持多种框架的问题。上层的每个服务组件的实现均是一个分布式子系统，如果单独实现，必然造成各组件之间完全孤立维护与管理。设计思路 为了解决这个问题，解决方案则是考虑将各个服务组件的资源管理与作业控制进行分离，并且加入基于Docker...

一、影响分布式系统性能的因素主要有这些因素影响着分布式系统的性能：网络延迟、数据通信效能、计算节点处理能力、任务的分割、无法预算处理时间、任务的颠簸等等。我们在寻求分布式计算调度算法时，就是有针对性的以解决这些问题为目的，从各个角度，不同侧面，利用一种或者集中方法结合起来的形式，从而达到最优解，使得系统效率相对最高。二、几种基本的调度算法获得网络负载均衡有几个基本的方法。这些方法可以结合使...

随着大规模并行分布处理系统，特别是网络工作站集群的广泛应用。如何采取有效的调度策略来平衡各节点的负载，从而提高整个系统资源的利用率，已成为人们的研究热点。集群具有可扩展性、 高可用性、高性能、高性价比等优点，作为存储区域网的存储设备具有天生的优势。随着PC机的发展，硬盘的价格越来越低，其存储容量越来越大，每台PC机也可配置多块硬盘，且可扩充能力极高，作为集群中的节点管理也相当方便，并具有一定的...

概述数据挖掘常又被称为价值发现或者是数据勘探，一般是指从大量的、不完全的、有噪声的、模糊的、随机的实际应用数据中，提取隐含在其中的，人们事先不知道的、但又是潜在有用的信息和知识的过程。它是一种大量数据的高级处理方式。常用的数据挖掘算法分为四大类：聚类、分类、关联以及推荐算法。另外还有一个预处理：降维算法聚类算法聚类是在一群未知类别标号的样本上，用某种算法将他们分成若干类别，这是一种无监督学...

常用分类算法总结分类算法总结NBC算法LR算法SVM算法ID3算法C4.5 算法C5.0算法KNN 算法ANN 算法分类算法总结分类是在一群已经知道类别标号的样本中，训练一种分类器，让其能够对某种未知的样本进行分类。分类算法属于一种有监督的学习。分类算法的分类过程就是建立一种分类模型来描述预定的数据集或概念集，通过分析由属性描述的数据库元组来构造模型。分类的目的就是使用分类对新的数据集进行划分...

常用关联算法总结关联算法Apriori 算法关联算法关联规则挖掘算法就是从事务数据库，关系数据库或其他信息存储中的大量数据的项集之间发现频繁出现的模式、关联和相关性。关联算法在科学数据分析、雷达信号分选、分类设计、捆绑销售、生物信息学、医疗诊断及网页挖掘等领域成果颇丰。典型的关联算法包括Aprior 算法、FP-G（Frequent pattern Growth，频繁模式增长树）算法、Fre...

　　Hadoop MapReduce是一个软件框架，基于该框架能够容易地编写应用程序，这些应用程序能够运行在由上千个商用机器组成的大集群上，并以一种可靠的，具有容错能力的方式并行地处理上TB级别的海量数据集。软件框架如下图所示：  Client：用户编写的Mapreduce程序通过Client端提交给JobTracker端；Client还提供一些查看作业运行状态的接口JobTr...