2016年01月_快乐的霖霖

转载非常好的介绍分布式log文章: The Log

非常好的介绍分布式log文章: The Log前言这是一篇学习笔记。学习的材料来自Jay Kreps的一篇讲Log的博文。原文很长，但是我坚持看完了，收获颇多，也深深为Jay哥的技术能力、架构能力和对于分布式系统的理解之深刻所折服。同时也因为某些理解和Jay哥观点吻合而略沾沾自喜。Jay Kreps是前Linkedin的Principal Staff Enginee

2016-01-28 01:00:32 2720

原创 python flask介绍

python flask介绍 TO DO 参考资料：http://docs.jinkan.org/docs/flask/

2016-01-25 23:22:26 1276

转载分布式服务的Trace——Google Dapper & Twitter Zipkin

分布式服务的Trace——Google Dapper & Twitter Zipkin对于分布式在线服务，一个请求需要经过系统中多个模块，上百台机器的协作完成单次请求，典型场景就是Search Engine的一次用户检索，单靠人力无法掌握整个请求中各个阶段的性能开销，更无法快速的定位系统中性能瓶颈。Google Dapper文章描述了广泛用于Google内部服务的Trace I

2016-01-24 18:28:10 7742

转载构建健壮的大规模分布式系统

构建健壮的大规模分布式系统实际的生产环境中，经常会由于机器故障、机房掉电、网络异常、软件bug等原因，造成整个系统中某台机器、某些集群异常，无法提供稳定的服务；而系统也可能因为某些突发事件、外部攻击等原因，出现流量瞬间的大幅度增长，超过系统承载能力。因此，在系统设计时，需要充分的考虑系统的优雅降级、流量控制等。最近阅读了不少相关的文档，本文进行了整理，列举了一些构建大规模分布式

2016-01-24 18:24:36 1574

原创介绍两个分布式数据库开源系统

介绍两个分布式数据库开源系统在分布式数据库方面，这里推荐两个国人开发的分布式数据库系统：TiDB(go语言开发)，阿里的OceanBase。这两个系统都是开源的，可以好好学习。https://github.com/pingcap/tidb http://code.taobao.org/p/OceanBase/src/trunk/

2016-01-21 17:41:50 5160

转载当讨论分布式系统时，我们都会讨论些什么？

当讨论分布式系统时，我们都会讨论些什么？这篇文章不错，转载于: http://dockone.io/article/898【编者的话】分布式系统是一个庞大的议题，每个子领域都有大量的研究。学习分布式系统知识，如果不分主次地随看随学，效果不会好。本文介绍了分布式系统的主要概念，适合作为分布式系统的入门指南。当我们讨论分布式系统时，我们都讨论些什么？我一

2016-01-19 09:51:45 1201

转载架构师需要了解的Paxos原理、历程及实战

架构师需要了解的Paxos原理、历程及实战数据库高可用性难题数据库的数据一致和持续可用对电子商务和互联网金融的意义不言而喻，而这些业务在使用数据库时，无论 MySQL 还是 Oracle，都会面临一个艰难的取舍，就是如何处理主备库之间的数据同步。对于传统的主备模式或者一主多备模式，我们都需要考虑的问题，就是与备机保持强同步还是异步复制。对于强同步

2016-01-18 22:21:16 13533

转载 Facebook架构解读

Facebook架构解读转载于：http://geek.csdn.net/news/detail/51575 从我看过的各种资料，还有与各式人等的交谈中，可以得出Facebook现在的架构是这样的：Web前端用PHP语言编写，然后用HipHop Compiler[1]转换为C++语言，再用g++编译器编写，从而提供高性能的模板与web逻辑执行层。完全依

2016-01-18 20:25:45 931

转载 python request第三方库介绍

python request第三方库介绍具体可参见:http://docs.python-requests.org/en/latest/

2016-01-18 20:24:03 1792

原创 Forking a Daemon Process on Unix

Forking a Daemon Process on Unix Daemon processes must detach from their controlling terminal and process group. This is not hard, but it does take some care:import sys, osdef main

2016-01-14 11:30:12 785

原创用python编写daemon监控进程并自动恢复

用python编写daemon监控进程并自动恢复下面这个程序是用于python编写daemon监控进程并自动恢复，参考http://pythonhosted.org/KiTT/_modules/kitt/daemon.html#!/usr/bin/env pythonimport sys, os, time, atexitfrom signal import

2016-01-14 11:24:14 2041

转载 python watchdog：监控文件系统事件的Python库

python watchdog：监控文件系统事件的Python库和shell工具 watchdog用来监控指定目录/文件的变化，如添加删除文件或目录、修改文件内容、重命名文件或目录等，每种变化都会产生一个事件，且有一个特定的事件类与之对应，然后再通过事件处理类来处理对应的事件，怎么样处理事件完全可以自定义，只需继承事件处理类的基类并重写对应实例方法。先给

2016-01-14 10:04:59 30505

转载 Twitter是如何构建高性能分布式日志的

Twitter是如何构建高性能分布式日志的在Twitter，他们使用复制日志来解决分布式系统中存在的一系列问题。比如，他们有一个Manhattan分布式键值数据库。该系统采用了一种灵活的最终一致性数据模型，允许开发者以一致性换取低延迟。写入操作会单独应用到数据集的所有副本，Manhattan会保证各个副本的数据最终一致。但是，应用程序在查询一个刚刚更新过的数据集时可能会因为读取

2016-01-10 21:46:15 1020

原创分布式配置管理系统QConf

分布式配置管理系统QConf 分布式配置管理系统QConf是360公司开源的系统，详见：https://github.com/Qihoo360/QConf 整体架构图如下：资料：1. https://github.com/Qihoo360/QConf 2. http://mp.weixi

2016-01-10 21:33:43 2183

原创异步同步数据Mario库简介

异步同步数据Mario库简介这里介绍一个异步同步数据的库Mario，是360公司开源的一个库，这里我简单介绍下其原理。整体架构：简单说明：在Mario库中，有两个角色，分别是Producer与Consumer，Producer是用户不可见的，调用Mario库中的put函数就会调用Producer，将数据写到memory或者file中，

2016-01-10 20:32:37 1030

原创使用netperf测试网络性能

使用netperf测试网络性能有时候需要测试两台机器之间的网络性能怎样，包括带宽，延迟等参数。如果每次都写一个程序去测试，还是有点麻烦的，而且不同的人写出的程序性能可能差别比较大，导致测试结果的差别也比较大。好在早就已经有人写好了一个功能和性能都非常好的程序来测试网络性能：netperf，netperf的主页见在这里。具体实现等见文档。下载安装等就不累述了，在

2016-01-10 01:03:52 10350

原创利用commands模块执行Linux shell命令

利用commands模块执行Linux shell命令用Python写运维脚本时，经常需要执行linux shell的命令，Python中的commands模块专门用于调用Linux shell命令，并返回状态和结果，下面是commands模块的3个主要函数：1. commands.getoutput('shell command')执行shell命令，返回结果

2016-01-09 16:32:35 1255

原创 Java泛型通配符extends与super

Java泛型通配符extends与superJava 泛型关键字说明? 通配符类型表示类型的上界，表示参数化类型的可能是T 或是 T的子类表示类型下界（Java Core中叫超类型限定），表示参数化类型是此类型的超类型（父类型），直至Objectextends 示例static class Food{}static class Fruit extend

2016-01-09 15:33:32 1269

转载服务框架多形式的服务调用：同步、异步、并用、泛化

服务框架多形式的服务调用：同步、异步、并用、泛化服务框架支持多种形式的服务调用，我们对下面这几种服务调用的原理和设计进行讲解。同步服务调用同步服务调用是最常用的一种服务调用方式，它的工作原理和使用都非常简单，分布式服务框架默认都需要支持这种调用形式。它的工作原理如下：客户端发起远程服务调用请求，用户线程完成消息序列化之后，将消息投

2016-01-09 13:53:29 3315

原创 jdk7 并行计算框架Fork/Join

jdk7 并行计算框架Fork/Join故名思义，拆分fork+合并join。jdk1.7整合Fork/Join，性能上有大大提升。思想:充分利用多核CPU把计算拆分成多个子任务，并行计算，提高CPU利用率大大减少运算时间。有点像，MapReduce思路感觉大致一样。jdk7中已经提供了最简洁的接口，让你不需要太多时间关心并行时线程的通信，死锁问题，线程同步，下

2016-01-09 13:45:21 898

chenglinhust的专栏