kobejayandy的专栏

字节跳动后台知识体系

在《这多年来我一直在钻研的技术》这篇文章中，我讲述了一下，我这么多年来一直在关注的技术领域，其中我多次提到了工业级的软件，我还以为有很多人会问我怎么定义工业级？以及一个高可用性的软件系统应该要怎么干出来？这样我也可以顺理成章的写下这篇文章，但是没有人问，那么，我只好厚颜无耻的自己写下这篇文章了。哈哈。另外，我在一些讨论高可用系统的地方看到大家只讨论各个公司的技术方案，其实，高可用的系统并不简单的是技术方案，一个高可用的系统其实还包括很多别的东西，所以，我觉得大家对高可用的系统了解的还不全面，为了让大家的

对计算机网络或者 Kubernetes 网络稍有了解的工程师都应该听说过延展网络（Overlay Network），Overlay 网络其实并不是一门新技术，它是指构建在另一个网络上的计算机网络1，这是一种网络虚拟化技术的形式，近年来云计算虚拟化技术的演进促进了网络虚拟化技术的应用2。图 1 - 延展网络因为 Overlay 网络是建立在另一个计算机网络之上的虚拟网络，所以它不能独立出现，Overlay 底层依赖的网络就是 Underlay 网络，这两个概念也经常成对出现。Underlay

本文会演示简单的 Go 软件包的开发过程，并介绍了go命令行工具，这是我们获取，构建和安装 Go 软件包和命令的标准方法。go 工具要求你以特定方式组织代码。我们会介绍 Go 安装启动和运行的最简单方法，一定要仔细阅读啊。组织代码结构概要Go 程序员一般会将他们的源代码存放在一个工作区中（多个项目放在一个工作区） 工作区中包含许多由 git 管理的代码仓库（也可以是其他版本控...

1、Docker网络模式在讨论Kubernetes网络之前，让我们先来看一下Docker网络。Docker采用插件化的网络模式，默认提供bridge、host、none、overlay、maclan和Network plugins这几种网络模式，运行容器时可以通过–network参数设置具体使用那一种模式。bridge：这是Docker默认的网络驱动，此模式会为每一个容器分配Network...

一个TCC事务框架需要解决的当然是分布式事务的管理。关于TCC事务机制的介绍，可以参考TCC事务机制简介。TCC事务模型虽然说起来简单，然而要基于TCC实现一个通用的分布式事务框架，却比它看上去要复杂的多，不只是简单的调用一下Confirm/Cancel业务就可以了的。本文将以Spring容器为例，试图分析一下，实现一个通用的TCC分布式事务框架需要注意的一些问题。一、TCC全局事务必须...

1. TXC是什么TXC(Taobao Transaction Constructor)是阿里巴巴的一个分布式事务中间件，它可以通过极少的代码侵入，实现分布式事务。在大部分情况下，应用只需要引入TXC Client的jar包，进行几项简单配置，以及以行计的代码改造，即可轻松保证分布式数据一致性。TXC同时提供了丰富的编程和配置策略，以适应各种长尾的应用需求。2. 背景2.1. ...

本文首先引出消息中间件通常需要解决哪些问题，在解决这些问题当中会遇到什么困难，Apache RocketMQ作为阿里开源的一款高性能、高吞吐量的分布式消息中间件否可以解决，规范中如何定义这些问题。然后本文将介绍RocketMQ的架构设计，以期让读者快速了解RocketMQ。消息中间件需要解决哪些问题？Publish/Subscribe发布订阅是消息中间件的最基本功能，也是相对于传统...

引言分布式系统中,我们广泛运用消息中间件进行系统间的数据交换,便于异步解耦。现在开源的消息中间件有很多,目前对Kafka、RabbitMQ、RocketMQ这三个消息中间件做下对比分析。- - kafka RocketMQ RabbitMQ 定位 设计定位 系统间的数据流管道，实时数据处理。 例如：常规的消息系统、网站活性跟踪，监控数据，...

这篇文章首先对Thread Dump日志文件的结构进行分析。目录 [隐藏]1 第一部分：Full thread dump identifier 2 第二部分：Java EE middleware, third party & custom application Threads 3 第三部分：HotSpot VM Thread 3.1 "Attach Listener" ...

反欺诈作为一个职能，在互联网、金融、传统零售等各行各业广泛的存在。反欺诈是一个跨安全、风控、数据、研发、内控等多学科的一个新兴领域。本文结合近年来互联网领域内的反欺诈现状，针对互联网反欺诈体系建设过程中的经验和教训进行了简单的总结和罗列。❶互联网欺诈形态常见的互联网欺诈形态✦ 盗刷：通过互联网交易平台，将他人银行账户中的资金进行转移；✦ 薅羊...

背景在之前学习机器学习技术中，很少关注特征工程(Feature Engineering)，而且机器学习的书中基本上是已经处理好的数据或者作者自己构造的虚拟的数据。所以在机器学习的实践中，可能会选择使用这些算法，但是常常不知道怎么提取特征来建模。因此，结合网上的资料和项目中的经验试着来总结一下。特征是什么特征是对于分析和解决问题有用、有意义的属性。例如：在表格数据中，表格中的一行是一个...

坊间常说：“数据和特征决定了机器学习的上限，而模型和算法只是逼近这个上限而已”。由此可见，特征工程在机器学习中占有相当重要的地位。在实际应用当中，可以说特征工程是机器学习成功的关键。纵观Kaggle、KDD等国内外大大小小的比赛，每个竞赛的冠军其实并没有用到很高深的算法，大多数都是在特征工程这个环节做出了出色的工作，然后使用一些常见的算法，比如LR，就能得到出色的性能。遗憾的是，在很...

从上个世纪90年代开始，由于反欺诈领域大数据量和高时效性需求，机器学习技术得到逐步应用：Kokkinaki（1997）提出一种基于决策树逻辑的模型，其中子节点代表不同的变量，分叉路经代表满足不同的条件；Bentley（2000）运用基因算法来搭建一套逻辑规则，可以根据最大发生概率将交易行为划分为可疑和非可疑；Bolton和Hand（2002）利用对等组分析和断点分析，...

本体、知识库、知识图谱、知识图谱识别之间的关系？本体：领域术语集合。知识库：知识集合。知识图谱：图状具有关联性的知识集合。知识图谱本质上是语义网络，是一种基于图的数据结构，由节点(Point)和边(Edge)组成。在知识图谱里，每个节点表示现实世界中存在的“实体”，每条边为实体与实体之间的“关系”。知识图谱是关系的最有效的表示方式。通俗地讲，知识图谱就是把所有不同种类的信息连接在一...

本文的目的，是务实、简洁地盘点一番当前机器学习算法。文中内容结合了个人在查阅资料过程中收集到的前人总结，同时添加了部分自身总结，在这里，依据实际使用中的经验，将对此模型优缺点及选择详加讨论。主要回顾下几个常用算法的适应场景及其优缺点！机器学习算法太多了，分类、回归、聚类、推荐、图像识别领域等等，要想找到一个合适算法真的不容易，所以在实际应用中，我们一般都是采用启发式学习方式来实验。通常最开...

机器学习三要素：模型、策略与算法提到机器学习，这无疑是数据分析师最常提到的一个词儿了，机器学习也叫统计学习，即Statistics Learning。一些商学院常常讲的Business Intelligence或者Business Analytic基本上也就是这回事儿。机器学习在干嘛？就是利用已有数据，找到一些合适的数学模型去描述它，然后做一些预测分析，从而优化企业的流程或者提高决策效率...

1. InnoDB的Antelop与Barracuda文件格式Innodb存储引擎保存记录，是以行的形式存放的（与之对应的是像Google BigTable这种列数据库）。在InnoDB 1.0.x版本之前，InnoDB 存储引擎提供了 Compact 和 Redundant 两种格式来存放行记录数据，这也是目前使用最多的一种格式。Redundant 格式是为兼容之前版本而保留的。MySQ...

 Sentinel 是阿里中间件团队研发的面向分布式服务架构的轻量级高可用流量控制组件，于今年7月正式开源。Sentinel 主要以流量为切入点，从流量控制、熔断降级、系统负载保护等多个维度来帮助用户提升服务的稳定性。大家可能会问：Sentinel 和之前经常用到的熔断降级库 Netflix Hystrix 有什么异同呢？本文将从资源模型和执行模型、隔离设计、熔断降级、实时指标统计设计等角度将...

这里就平时经常用到的服务发现的产品进行下特性的对比，首先看下结论:Feature Consul zookeeper etcd euerka 服务健康检查 服务状态，内存，硬盘等 (弱)长连接，keepalive 连接心跳 可配支持 多数据中心 支持 — — — kv存储服务 支持 支持 支持...

1、为什么要用大数据来反欺诈？近些年来互联网金融蓬勃发展，特别是P2P的兴起，颠覆了传统的银行贷款模式，给大众带来快速便捷的金融服务；在P2P行业中，借款端的风险是P2P公司面临的主要风险，而借款端的风控水平可以说决定了一家P2P公司的核心竞争力。借款端风险的一个主要来源是欺诈风险，传统的反欺诈手段主要依赖于信息的人工审核，而身份证、手机号码、银行流水等材料的伪造成本非常低，各类信贷服务机...

知识图谱最初是由谷歌提出用来优化搜索引擎的技术，在不断发展中外延也一度扩大。盘点目前知识图谱的发展，其已经助力了很多热门的人工智能场景的应用，例如语音助手、聊天机器人、智能问答等。当前的人工智能其实可以简单划分为感知智能（主要集中在对于图片、视频以及语音的能力的探究）和认知智能（涉及知识推理、因果分析等），知识图谱就是认知智能领域中主要的技术之一。从使用的范围来讲，知识图谱分为通用知识图谱和领...

目  录1   人工智能、机器学习、深度学习三者关系2   什么是人工智能3  什么是机器学习4  机器学习之监督学习5  机器学习之非监督学习6  机器学习之半监督学习7  机器学习之强化学习8  什么是深度学习9 总结  1人工智能、机器学习、深度学习三者关系对于很多初入学习人工智能的学习者来说，对人工智能、机器学习、深度学习的概念和区别还不...

本文用浅显易懂的语言精准概括了机器学习的相关知识，内容全面，总结到位，剖析了机器学习的what，who，when, where, how，以及why等相关问题。从机器学习的概念，到机器学习的发展史，再到机器学习的各类算法，最后到机器学习的最新应用，十分详尽。适合小白快速了解机器学习。  Machine Learning: A Primera quick introduction...

在机器学习领域，有种说法叫做“世上没有免费的午餐”，简而言之，它是指没有任何一种算法能在每个问题上都能有最好的效果，这个理论在监督学习方面体现得尤为重要。举个例子来说，你不能说神经网络永远比决策树好，反之亦然。模型运行被许多因素左右，例如数据集的大小和结构。因此，你应该根据你的问题尝试许多不同的算法，同时使用数据测试集来评估性能并选出最优项。当然，你尝试的算法必须和你的问题相切合，其中...

通过本篇文章可以对机器学习ML的常用算法有个常识性的认识，没有代码，没有复杂的理论推导，就是图解一下，知道这些算法是什么，它们是怎么应用的，例子主要是分类问题。每个算法都看了好几个视频，挑出讲的最清晰明了有趣的，便于科普。算法如下：决策树 随机森林算法 逻辑回归 SVM 朴素贝叶斯 K最近邻算法 K均值算法 Adaboost 算法 神经网络 马尔可夫1. 决策...

通过本篇文章可以对机器学习ML的常用算法有个常识性的认识，没有代码，没有复杂的理论推导，就是图解一下，知道这些算法是什么，它们是怎么应用的，例子主要是分类问题。每个算法都看了好几个视频，挑出讲的最清晰明了有趣的，便于科普。算法如下：决策树 随机森林算法 逻辑回归 SVM 朴素贝叶斯 K最近邻算法 K均值算法 Adaboost 算法 神经网络 马尔可夫1. 决策...

每当提到机器学习，大家总是被其中的各种各样的算法和方法搞晕，觉得无从下手。确实，机器学习的各种套路确实不少，但是如果掌握了正确的路径和方法，其实还是有迹可循的，这里我推荐SAS的Li Hui的这篇博客，讲述了如何选择机器学习的各种方法。另外，Scikit-learn 也提供了一幅清晰的路线图给大家选择：其实机器学习的基本算法都很简单，下面我们就利用二维数据和交互图形来看看机器学习中的一...

一、机器学习模型按照可使用的数据类型分为监督学习和无监督学习两大类。　　1-监督学习主要包括用于分类和用于回归的模型：　　　　1）分类：线性分类器（如LR)、支持向量机（SVM）、朴素贝叶斯（NB）、K近邻（KNN）、决策树（DT）、集成模型（RF/GDBT等）　　　　2）回归：线性回归、支持向量机（SVM）、K近邻（KNN）、回归树（DT）、集成模型（ExtraTrees/RF/GD...

    区块链简介        区块链的概念        区块链的发展历史        区块链的特点        区块链的结构        区块链的应用        参考文献区块链简介区块链（blockchain）作为比特币的底层技术受到了越来越多的关注，其去中心化的分布式数据库存储结构有着广阔的应用场景。本文从一下五个方面介绍一下区块链技术:        区...

要想找出 Linux 系统运行在虚拟化平台中还是硬件服务器上，有多种方式可供大家选择，这主要取决于你的 hypervisor 或 container 环境。不同的虚拟化或容器技术会在其实例中引入不同的识别指纹，如：处理器厂商、特殊的 /proc 文件或虚拟网卡名称等。 另外通过 dmesg 显示启动序列，也可以找出 Linux 或 VPS 所使用虚拟化平台类型的一些线索。下面我们将介绍几个命令行工...

1. Kubernetes是什么？      首先，Kubernetes是一个全新的基于容器技术的分布式架构领先方案。Kubernetes是Google开源的容器集群管理系统，其提供应用部署、维护、 扩展机制等功能，利用Kubernetes能方便地管理跨机器运行容器化的应用，其主要功能如下：（1）使用Docker对应用程序包装(package)、实例化(instantiate)、运行(run)。（...

前言Docker和容器不是一个意思，Docker包含实现虚拟化技术的一系列技术，而容器（container）只是其中的一个组件。Docker可以给你带来什么？更快交付你的应用（Faster delivery of your applications）让部署和测试更简单（Deploying and scaling more easily）实现更高密度和更多的负载（Achieving higher d...

本文只是对Docker的概念做了较为详细的介绍，并不涉及一些像Docker环境的安装以及Docker的一些常见操作和命令。通过阅读本文你将知道一下概念：容器什么是Docker？Docker思想、特点Docker容器主要解决什么问题容器 VS 虚拟机Docker基本概念： 镜像（Image），容器（Container），仓库（Repository）一 先从认识容器开始1.1 什么是容器？先来看看容器...

前言Elasticsearch 是一个建立在全文搜索引擎 Apache Lucene(TM) 基础上的搜索引擎，可以说 Lucene 是当今最先进，最高效的全功能开源搜索引擎框架。Elasticsearch是一个实时分布式和开源的全文搜索和分析引擎。 它可以从RESTful Web服务接口访问，并使用模式少JSON(JavaScript对象符号)文档来存储数据。它是基于Java编程语言，这使Ela...

经常有初学者在博客和QQ问我，自己想往大数据方向发展，该学哪些技术，学习路线是什么样的，觉得大数据很火，就业很好，薪资很高。如果自己很迷茫，为了这些原因想往大数据方向发展，也可以，那么我就想问一下，你的专业是什么，对于计算机/软件，你的兴趣是什么？是计算机专业，对操作系统、硬件、网络、服务器感兴趣？是软件专业，对软件开发、编程、写代码感兴趣？还是数学、统计学专业，对数据和数字特别感兴趣。 其实这就...

　在本篇文章中，我将对机器学习做个概要的介绍。本文的目的是能让即便完全不了解机器学习的人也能了解机器学习，并且上手相关的实践。这篇文档也算是EasyPR开发的番外篇，从这里开始，必须对机器学习了解才能进一步介绍EasyPR的内核。当然，本文也面对一般读者，不会对阅读有相关的前提要求。　　在进入正题前，我想读者心中可能会有一个疑惑：机器学习有什么重要性，以至于要阅读完这篇非常长的文章呢？　　我并不直...

1. 引言 也许你和这个叫『机器学习』的家伙一点也不熟，但是你举起iphone手机拍照的时候，早已习惯它帮你框出人脸；也自然而然点开今日头条推给你的新闻；也习惯逛淘宝点了找相似之后货比三家；亦或喜闻乐见微软的年龄识别网站结果刷爆朋友圈。恩，这些功能的核心算法就是机器学习领域的内容。 套用一下大神们对机器学习的定义，机器学习研究的是计算机怎样模拟人类的学习行为，以获取新的知识或技能，...

编者按：                                             上次我们着重介绍了反欺诈的一项核心技术：特征工程。 在反欺诈的技术金字塔中，特征工程起着承上启下的作用。而居于特征工程的下一层的是基座层：数据。在机器学习里，大家有一个共识，高质量、相关的数据决定模型预测能力的上限，模型只是去逼近这个上限。数据就像原油，好的特征就像汽油，而模型就是引擎，三者缺一不可。...

近年来，随着移动互联网的兴起，各种传统的业务逐渐转至线上，互联网金融，电子商务迅速发展，商家针对营销及交易环节的推广活动经常以返利的形式进行。由于有利可图，此类线上推广迅速滋生了针对返利的系统性的优惠套利欺诈行为，俗称薅羊毛。由于移动设备的天然隐蔽性和欺诈行为的多变性，传统的防范手段，比如规则系统等就显得有些笨拙和捉襟见肘了，使得薅羊毛看起来仿佛防不胜防。但是正所谓魔高一尺，道高一丈。在实践中，我...

HotSpot JVM的并发标记清理收集器(CMS收集器)的主要目标就是：低应用停顿时间。该目标对于大多数交互式应用很重要，比如web应用。在我们看一下有关JVM的参数之前,让我们简要回顾CMS收集器的操作和使用它时可能出现的主要挑战。就像吞吐量收集器(参见本系列的第6部分),CMS收集器处理老年代的对象,然而其操作要复杂得多。吞吐量收集器总是暂停应用程序线程，并且可能是相当长的一段时间，

大数据能够进行数据变现的商业模式目前就是两个，一个是精准营销，典型的场景是商品推荐和精准广告投放，另外一个是大数据风控，典型的场景是互联网金融的大数据风控。金融的本质是风险管理，风控是所有金融业务的核心。典型的金融借贷业务例如抵押贷款、消费贷款、P2P、供应链金融、以及票据融资都需要数据风控识别欺诈用户及评估用户信用等级。传统金融的风控主要利用了信用属性强大的金融数据，一般采用20

阿里云飞天系统的技术架构阿里云有以下五大优势：中国万网，提供虚拟主机托管的服务，而且还提供域名等服务，其客户群非常庞大；淘宝、阿里巴巴（内部称：B2B）、支付宝等其他子公司有大量的数据分析业务，需要消耗大量的服务器资源，电力，机房设施；阿里巴巴集团已经购买了多条大带宽的专线，并且形成多网互联和加速的能 力，并且有能力自己建设机房等方面的能力；阿里系公司技吸收

前言这是一篇学习笔记。学习的材料来自Jay Kreps的一篇讲Log的博文。原文很长，但是我坚持看完了，收获颇多，也深深为Jay哥的技术能力、架构能力和对于分布式系统的理解之深刻所折服。同时也因为某些理解和Jay哥观点吻合而略沾沾自喜。Jay Kreps是前Linkedin的Principal Staff Engineer，现任Confluent公司的联合创始人和CEO，Kafka

Kafka在0.8以前的版本中，并不提供High Availablity机制，一旦一个或多个Broker宕机，则宕机期间其上所有Partition都无法继续提供服务。若该Broker永远不能再恢复，亦或磁盘故障，则其上数据将丢失。而Kafka的设计目标之一即是提供数据持久化，同时对于分布式系统来说，尤其当集群规模上升到一定程度后，一台或者多台机器宕机的可能性大大提高，对于Failover机制的需求

如果MQ没有类似数据库事务结构和保证，是不可能达到消息投递100%可靠的，极端情况下消息投递要么丢失或重复。下面咋们从producer，broker，consumer的角度分析一下Kafka中会出现哪些情况。1.producer发送消息到Broker目前生产者发送消息(request.required.acks)有三种方式。acks =

背景介绍：Kafka 是一个消息系统，原本开发自 LinkedIn，用作 LinkedIn 的活动流（Activity Stream）和运营数据处理管道（Pipeline）的基础。现在它已被多家公司作为多种类型的数据管道和消息系统使用。活动流数据是几乎所有站点在对其网站使用情况做报表时都要用到的数据中最常规的部分。活动数据包括页面访问量（Page View）、被查看内容方面的信息以及搜索情

一、为什么需要消息系统1.解耦：允许你独立的扩展或修改两边的处理过程，只要确保它们遵守同样的接口约束。2.冗余：消息队列把数据进行持久化直到它们已经被完全处理，通过这一方式规避了数据丢失风险。许多消息队列所采用的”插入-获取-删除”范式中，在把一个消息从队列中删除之前，需要你的处理系统明确的指出该消息已经被处理完毕，从而确保你的数据被安全的保存直到你使用完毕。3.扩展性：

框架比较TDDLAmoebaCobarMyCat点评TDDL不同于其它几款产品，并非独立的中间件，只能算作中间层，是以Jar包方式提供给应用调用。属于JDBC Shard的思想，网上也有很多其它类似产品。另外，网上有关于TDDL的图，如http://www.tuicool.com/articles/nmeu

分布式缓存集群方案特性使用场景（Memcache/Redis(Twemproxy/Codis/Redis-cluster)）优缺点对比及选型

最近研发的项目对DB依赖比较重，梳理了这段时间使用MySQL遇到的8个比较具有代表性的问题，答案也比较偏自己的开发实践，没有DBA专业和深入，有出入的请使劲拍砖！…MySQL读写性能是多少，有哪些性能相关的配置参数？MySQL负载高时，如何找到是由哪些SQL引起的？如何针对具体的SQL做优化？SQL

传统的分库分表传统的分库分表都是通过应用层逻辑实现的，对于数据库层面来说，都是普通的表和库。分库分库的原因首先，在单台数据库服务器性能足够的情况下，分库对于数据库性能是没有影响的。在数据库存储上，database只起到一个namespace的作用。database中的表文件存储在一个以database名命名的文件夹中。比如下面的employees数据库：my

在当前如火如荼的互联网浪潮下，如何应对海量数据、高并发成为大家面临的普遍难题。广大IT公司从以往的集中式网站架构，纷纷转向分布式的网站架构，随之而来的就是进行数据库拆分和应用拆分，如何在跨数据库、跨应用保证数据操作和业务操作的一致性、原子性，又成为需要解决的新的问题。从分布式事务的需求来源来看：1、跨数据库数据库拆分(水平、垂直)带来的分布式事务->保证跨库操作的原子性基于单个JVM

一、事务的基本原理Spring事务的本质其实就是数据库对事务的支持，没有数据库的事务支持，spring是无法提供事务功能的。对于纯JDBC操作数据库，想要用到事务，可以按照以下步骤进行：获取连接 Connection con = DriverManager.getConnection()开启事务con.setAutoCommit(true/false);执行CRUD提交事务/回滚事

开篇在OLTP系统领域，我们在很多业务场景下都会面临事务一致性方面的需求，例如最经典的Bob给Smith转账的案例。传统的企业开发，系统往往是以单体应用形式存在的，也没有横跨多个数据库。我们通常只需借助开发平台中特有数据访问技术和框架（例如Spring、JDBC、ADO.NET），结合关系型数据库自带的事务管理机制来实现事务性的需求。关系型数据库通常具有ACID特性：原子性（Atomici

这是一个开撕的话题，我经历过太多的关于分布式事务的需求：“有没有简单的方案，像使用数据库事务那样，解决分布式数据一致性的问题”。特别是微服务架构流行的今天，一次交易需要跨越多个“服务”、多个数据库来实现，传统的技术手段，已经无法应对和满足微服务情况下这些复杂的场景了。针对微服务下的交易业务如何保障数据一致性，本文尽量做到理论结合实践，将我们在实际产品中用到的分布式事务实现机制，和大家扒一扒，希望能

LevelDb日知录之一：LevelDb 101　　说起LevelDb也许您不清楚，但是如果作为IT工程师，不知道下面两位大神级别的工程师，那您的领导估计会Hold不住了：Jeff Dean和Sanjay Ghemawat。这两位是Google公司重量级的工程师，为数甚少的Google Fellow之二。　　Jeff Dean其人：http://research.g

能够保证严格的消息顺序提供丰富的消息拉取模式高效的订阅者水平扩展能力实时的消息订阅机制亿级消息堆积能力一.RocketMQ网络部署特点    （1）NameServer是一个几乎无状态的节点，可集群部署，节点之间无任何信息同步    （2）Broker部署相对复杂，Broker氛围Master与Slave，一个Master可以对应多个Slaver，但是一个Slave

开始之前关于本教程本教程将深入讲解 Spring 简单而强大的事务管理功能，包括编程式事务和声明式事务。通过对本教程的学习，您将能够理解 Spring 事务管理的本质，并灵活运用之。先决条件本教程假定您已经掌握了 Java 基础知识，并对 Spring 有一定了解。您还需要具备基本的事务管理的知识，比如：事务的定义，隔离级别的概念，等等。本文将直接使用这些概念而不做详细解释。另外，

消息系统简介本次主要调研业界使用广泛的两款消息队列——RabbitMQ, Kafka， 以及阿里云的提供的两个服务， MNS和ONS.RabbitMQRabbitMQ 是使用Erlang编写的一个开源的消息队列，本身支持很多的协议：AMQP，XMPP, SMTP, STOMP，也正因如此，它非常重量级，更适合于企业级的开发。同时实现了Broker构架，这意味着消息在发送给客户端

基础知识准备：在了解HTTPS的基本原理之前，需要先了解如下的基本知识。 一、什么是HTTPS，TLS，SSL       HTTPS，也称作HTTP over TLS。TLS的前身是SSL，TLS 1.0通常被标示为SSL 3.1，TLS 1.1为SSL 3.2，TLS 1.2为SSL 3.3。下图描述了在TCP/IP协议栈中TLS(各子协议）和HTTP的关系。

在服务化之前，业务通常都是本地API调用，本地方法调用性能损耗较小。服务化之后，服务提供者和消费者之间采用远程网络通信，增加了额外的性能损耗，业务调用的时延将增大，同时由于网络闪断等原因，分布式调用失败的风险也增大。如果服务框架没有足够的容错能力，业务失败率将会大幅提升。除了性能、可靠性等问题，跨节点的事务一致性问题、分布式调用带来的故障定界困难、海量微服务运维成本增加等也是分布式服务框架

淘宝内部的交易系统使用了淘宝自主研发的Notify消息中间件，使用Mysql作为消息存储媒介，可完全水平扩容，为了进一步降低成本，我们认为存储部分可以进一步优化，2011年初，Linkin开源了Kafka这个优秀的消息中间件，淘宝中间件团队在对Kafka做过充分Review之后，Kafka无限消息堆积，高效的持久化速度吸引了我们，但是同时发现这个消息系统主要定位于日志传输，对于使用在淘宝交易、订单

最近一段时间不论互联网还是传统行业，凡是涉及信息技术范畴的圈子几乎都在讨论 微服务架构 。近期也看到各大技术社区开始组织一些沙龙和论坛来分享Spring Cloud的相关实施经验，这对于最近正在整理Spring Cloud相关套件内容与实例应用的我而言，还是有不少激励的。目前，Spring Cloud在国内的知名度并不高，在前阵子的求职过程中，与一些互联网公司的架构师、技术VP或者CTO在

HTTPS 能否避免流量劫持？近日，看了一篇关于流量劫持的文章《安全科普：流量劫持能有多大危害？》，作者EtherDream以图文并茂的形式详细讲解了流量劫持及相关知识。“在如今这个讲究跨平台、体验好，并有云端支持的年代，WebApp 越来越火热。各种应用纷纷移植成网页版，一些甚至替代了客户端。同时，也造就了流量劫持前所未有的势头。”小编总结，这里提到的流量劫持危害，大多跟Http

1、Hash存储引擎代表数据库：redis、memcache等通常也常见于其他存储引擎的查找速度优化上。 Hash 索引结构的特殊性，其检索效率非常高，索引的检索可以一次定位，不像B-Tree 索引需要从根节点到枝节点，最后才能访问到页节点这样多次的IO访问，所以 Hash 索引的查询效率要远高于 B-Tree 索引。虽然 Hash 索引效率高，但是 Hash 索引本身由于其特殊性

下面小节我们就详细得对Netty3和Netty4版本的I/O线程模型进行对比，以方便大家掌握两者的差异，在升级和使用中尽量少踩雷。1 Netty 3.X 版本线程模型Netty 3.X的I/O操作线程模型比较复杂，它的处理模型包括两部分：Inbound：主要包括链路建立事件、链路激活事件、读事件、I/O异常事件、链路关闭事件等；Outbound：主要包括写事件、连接

数据库存放数据的文件，本文称其为data file。数据库的内容在内存里是有缓存的，这里命名为db buffer。某次操作，我们取了数据库某表格中的数据，这个数据会在内存中缓存一些时间。对这个数据的修改在开始时候也只是修改在内存中的内容。当db buffer已满或者遇到其他的情况，这些数据会写入data file。undo，redo日志在内存里也是有缓存的，这里将其叫做lo

数据库高可用性难题数据库的数据一致和持续可用对电子商务和互联网金融的意义不言而喻，而这些业务在使用数据库时，无论 MySQL 还是 Oracle，都会面临一个艰难的取舍，就是如何处理主备库之间的数据同步。对于传统的主备模式或者一主多备模式，我们都需要考虑的问题，就是与备机保持强同步还是异步复制。对于强同步模式，要求主机必须把 Redolog 同步到备机之后，才能应答客户端，

Apache Cassandra(社区内一般简称为C*)是一套开源分布式NoSQL数据库系统。它最初由Facebook开发，用于储存收件箱等简单格式数据，集Google BigTable的数据模型与Amazon Dynamo的完全分布式架构于一身。Facebook于2008将 Cassandra 开源，此后，由于Cassandra良好的可扩展性和性能，被Digg、Twitter、Hulu、Ne

持续可用   本文主要针对金融数据库，认为金融数据库的持续可用包含两点：一个是强一致性；另外一个是高可用性。   数据库系统必须是强一致性的系统，这是因为数据库系统有事务ACID的基本要求，而弱一致系统无法做到。业内也有一些流行的NOSQL系统，例如各种类Dynamo系统，如开源的Cassandra，对同一个最小数据单位(同一行数据)允许多台服务器同时写入，虽然采用NWR机制处理冲突，但是

摘要：分布式系统需要在数据完整、一致性和性能间做平衡。本文系统介绍了处理分布式数据一致性的技术模型，如：Master-Slave，Master-Master，2PC/3PC，经典的将军问题，Paxos，以及Dynamo的NRW和VectorClock的模型。编者按：数据服务的高可用是所有企业都想拥有的，但是要想让数据有高可用性，就需要冗余数据写多份。写多份的问题会带来一致性的问题，而一

1    背景    2    问题一：数据一致性    3    问题二：分区可用性    4    问题三：性能    5    总结    6    问题四：一个极端场景的分析     背景 最近，@阿里正祥（阳老师）发了上面的一条微博，谁知一石激起

ZooKeeper是一个开源的分布式服务框架，它是Apache Hadoop项目的一个子项目，主要用来解决分布式应用场景中存在的一些问题，如：统一命名服务、状态同步服务、集群管理、分布式应用配置管理等，它支持Standalone模式和分布式模式，在分布式模式下，能够为分布式应用提供高性能和可靠地协调服务，而且使用ZooKeeper可以大大简化分布式协调服务的实现，为开发分布式应用极大地降低了成本。

消息持久性对于可靠消息传递来说应该是一种比较好的方法，有了消息持久化，即使发送者和接受者不是同时在线或者消息中心在发送者发送消息后宕机了，在消息中心重新启动后仍然可以将消息发送出去，如果把这种持久化和ReliableMessaging结合起来应该是很好的保证了消息的可靠传送。消息持久性的原理很简单，就是在发送者将消息发送出去后，消息中心首先将消息存储到本地数据文件、内存数据库或者远程数据库

传统MySQL+ Memcached架构遇到的问题　　实际MySQL是适合进行海量数据存储的，通过Memcached将热点数据加载到cache，加速访问，很多公司都曾经使用过这样的架构，但随着业务数据量的不断增加，和访问量的持续增长，我们遇到了很多问题：　　1.MySQL需要不断进行拆库拆表，Memcached也需不断跟着扩容，扩容和维护工作占据大量开发时间。　　2.Mem

一．RAID定义RAID(Redundant Array of Independent Disk 独立冗余磁盘阵列)技术是加州大学伯克利分校1987年提出，最初是为了组合小的廉价磁盘来代替大的昂贵磁盘，同时希望磁盘失效时不会使对数据的访问受损 失而开发出一定水平的数据保护技术。RAID就是一种由多块廉价磁盘构成的冗余阵列，在操作系统下是作为一个独立的大型存储设备出现。RAID可以充分发 挥出多

Linux下具有诸多优秀的工具供我们差遣使用，帮助我们了解和分析服务器各项性能指标。A、CPU相关常用工具列举下：ps、top、iostat、vmstat、mpstat、sar 等ps：可查看某个进程占用CPU资源百分比；top：显示的信息同ps接近，但是top可以了解到CPU消耗，可以根据用户指定的时间来更新显示；iostat: 查看所有CPU的平均信息；vmstat：查

在《分布式计算:原理、算法与系统》书中，1.8.1小节综述了设计和构建分布式系统时需要仔细考虑的10个方面，这10个方面也可以作为观察一个分布式系统的10个角度。设计和构建分布式系统时，以下几个方面务必仔细考虑。1）通信。这个任务包括设计适当的网络间进程通信机制。一些样例机制：远程过程调用（RPC），远程对象调用（ROI），面向流的通信和面向消息的通信。2）进程

前言nginx和fastcgi的通信方式有两种，一种是TCP的方式，一种是unix socke方式。两种方式各有优缺点，这里先给出两种的配置方法，然后再对性能、安全性等做出总结。配置指南TCP配置方式TCP通信配置起来很简单，三步即可搞定第一步，编辑 /etc/nginx/conf.d/你的站点配置文件（如果使用的默认配置文件，修改/etc/nginx/sites-availa

Apache安装的proxy功能由其proxy模块实现.加载模块有两种方式:静态和动态一 静态加载静态加载,在编译apache时候编译进去,编译参数如下:"./configure" \"-prefix=/usr/local/apache" \"--enable-so" \"--enable-rewrite" \"--with-mpm=prefork" \"--enable

LVS（Linux Virtual Server虚拟服务器），它是一个开源项目，主要用于多服务器的负载均衡，它工作在网络层，可以实现高性能，高可用的服务器集群技术。它非常易用，配置很简单，且有多重调度方式。它稳定可靠，与keepalived配合即使在集群的服务器中某台服务器宕机或某应用无法工作也不能影响整体使用，因为可以及 时切换（LVS工作原理负载调度器(Load Balance

关于多进程和多线程，教科书上最经典的一句话是“进程是资源分配的最小单位，线程是CPU调度的最小单位”，这句话应付考试基本上够了，但如果在工作中遇到类似的选择问题，那就没有这么简单了，选的不好，会让你深受其害。       我们按照多个不同的维度，来看看多线程和多进程的对比（注：因为是感性的比较，因此都是相对的，不是说一个好得不得了，另外一个差的无法忍受）。对

Tomcat 7服务器网络处理主要由NioEndpoint，其处理客户端连接的主要流程如图所示图中Acceptor及Worker分别是以线程池形式存在，Poller是一个单线程。注意，与BIO的实现一样，缺省状态下，在server.xml中没有配置，则以Worker线程池运行，如果配置了，则以基于java concurrent 系列的java.util.concurrent.ThreadP

前言本篇用于记录学习SO_REUSEPORT的笔记和心得，末尾还会提供一个bindp小工具也能为已有的程序享受这个新的特性。当前Linux网络应用程序问题运行在Linux系统上网络应用程序，为了利用多核的优势，一般使用以下比较典型的多进程/多线程服务器模型：单线程listen/accept，多个工作线程接收任务分发，虽CPU的工作负载不再是问题，但会存在：单线程list

java.util.concurrent.Future是Java提供的接口，表示异步执行的状态，Future的get方法会判断任务是否执行完成，如果完成就返回结果，否则阻塞线程，直到任务完成。[java] view plaincopy// Java FutureTask.get()    public V get() throws InterruptedExceptio

SATASATA的全称是Serial Advanced Technology Attachment，是由Intel、IBM、Dell、APT、Maxtor和Seagate公司共同提出的硬盘接口规范。SATA硬盘采用新的设计结构，数据传输快，节省空间，相对于IDE硬盘具有很多优势：　　1 .SATA硬盘比IDE硬盘传输速度高。目前SATA可以提供150MB/s的高峰传输速率。今后将达到3

----查看Linux系统默认的最大文件句柄数，系统默认是1024# ulimit -n1024----修改linux的最大文件句柄数限制的方法：      1）ulimit -n 65535              在当前session有效，用户退出或者系统重新后恢复默认值      2）修改profile文件：在profile文件中添加：u

总结下服务端对于tcp连接的限制与提高tcp连接数的方法，可能工作中永远不会用到，但对于网络知识理解会有帮助。1.服务端与16位的端口号（最大65535）没什么关系 服务端ip+port(监听端口) + 客户端ip+port 决定了一条连接，客户端连接服务器后，服务端并没有又分配一个物理端口与客户端连接。其实所有的数据还是通过监听端口接收与发送的（不论全双工与半双工，反正都是双工的），只不

libco 是腾讯开源的一个协程库，主要应用于微信后台RPC框架，下面我们从为什么使用协程、如何实现协程、libco使用等方面了解协程和libco。 why协程为什么使用协程，我们先从server框架的实现说起，对于client-server的架构，server最简单的实现：while(1) {accept();recv();do();send();}串行地接收连接、读取请求、

listen函数是网络编程一个基本的函数，而且它的backlog参数却是和TCP协议息息相关的。我们来看一下一个backlog参数到底有多少秘密。一、   为了理解backlog参数，我们必须首先认识listen函数。点击(此处)折叠或打开#includesys/socket.h>int listen(int sockfd, int backlog)

1. tcp 收发缓冲区默认值 [root@qljt core]# cat /proc/sys/net/ipv4/tcp_rmem 4096 87380 4161536（TCP接收缓冲区）cat /proc/sys/net/ipv4/tcp_wmem 4096 16384 4161536（TCP发送缓冲区）2. tcp 或udp收发缓冲区最大值[root@qljt core

jTDS连接字符串格式(jTDS URL Format)jTDS连接字符串格式（URL Format)：jdbc:jtds:://[:] [/] [;=[;...] ]其中，取值可以是'sqlserver'或'sybase'(各自的意义相当明显)，为数据库服务监听端口(缺省情况下SQL Server为1433，Sybase为7100)*；为数据库名--JDBC术语：编目(cat

MySQL的 JDBC URL 格式 for  Connector/J 如下例：jdbc:mysql://[host][,failoverhost...][:port]/[database] »[?propertyName1][=propertyValue1][&propertyName2][=propertyValue2]...jdbc:mysql://[host:port]

简介  使用评价 项目主页 DBCPDBCP是一个依赖Jakarta commons-pool对象池机制的数据库连接池.DBCP可以直接的在应用程序用使用可以设置最大和最小连接，连接等待时间等，基本功能都有，此连接池的持续运行的稳定性还是可以，不过速度稍慢，在大并发量的压力下稳定性有所下降，此外不提供连接池监控

恰当的JDBC超时设置能够有效地减少服务失效的时间。本文将对数据库的各种超时设置及其设置方法做介绍。 真实案例：应用服务器在遭到DDos攻击后无法响应 在遭到DDos攻击后，整个服务都垮掉了。由于第四层交换机不堪重负，网络变得无法连接，从而导致业务系统也无法正常运转。安全组很快屏蔽了所有的DDos攻击，并恢复了网络，但业务系统却还是无法工作。通过分析系统的thread dump发现，业

KeepAlive 就是通常所称的长连接,KeepAlive带来的好处是可以减少tcp连接的开销,这对于短response body的请求效果更加明显。HAProxy后端keepalive指的是在HAProxy服务完一次与后端的交互后，不关闭HAProxy和后端的连接，而是维护这个连接以备后续的请求复用。HAProxy后端Keepalive 配置，启用HAProxy后端长连接需要配置如

Nginx 1.1.14版本以前与后端upstream服务器建立的都是短链接，即通过HTTP/1.0向后端发起连接，并把请求的"Connection" header设为"close"。这样nginx往upstream后端发请求时，也会消耗很多的时间与带宽，如果让nginx与upstream后端建立起长链接，从nginx发起的请求就可以挑选一个合适的长链接发往upstream后端服务器，这样即可以节

安装模块Nginx 模块必须在编译时就进行选择，目前不支持在运行时进行模块选择。在编译时，可以通过命令 ./configure --help 运行所提供的配置脚本来查看所有支持的编译选项列表（包含可选模块）。Nginx 核心模块这些模块是必须的。名称说明Main配置错误日志、进程、权限等。Events配置e