大树叶 技术专栏

在hadoop Mapreduce优化技术中，总会涉及到Combiner和Partitioner，Combiner和Partitioner是用来优化MapReduce的。可以提高MapReduce的运行效率，下面就来谈谈这两种技术及其简单的使用。1 Combiner技术Combiner是一个本地化的reduce操作，它是map运算的后续操作，主要是在map计算出中间文件前做一...

我们在用缓存的时候，不管是Redis或者Memcached，基本上会通用遇到以下三个问题：缓存穿透 缓存雪崩 缓存失效下面的文章就专门来讲这些技术（个人mark一下）http://blog.didispace.com/chengchao-huancun-zuijiazhaoshi/https://blog.csdn.net/Mr_Yanghao/article/details/7...

概况：2014年微信红包使用数据库硬抗整个流量，2015年使用cache抗流量。微信的金额什么时候算？ 答：微信金额是拆的时候实时算出来，不是预先分配的，采用的是纯内存计算，不需要预算空间存储。。 采取实时计算金额的考虑：预算需要占存储，实时效率很高，预算才效率低。实时性：为什么明明抢到红包，点开后发现没有？ 答：2014年的红包一点开就知道金额，分两次操作，先抢到金额，然后再转账。 2015年的...

2017年1月28日，正月初一，微信公布了用户在除夕当天收发微信红包的数量——142亿个，而其收发峰值也已达到76万每秒。百亿级别的红包，如何保障并发性能与资金安全？这给微信带来了超级挑战。面对挑战，微信红包在分析了业界“秒杀”系统解决方案的基础上，采用了SET化、请求排队串行化、双维度分库表等设计，形成了独特的高并发、资金安全系统解决方案。实践证明，该方案表现稳定，且实现了除夕夜系统零故障运行。...

说明：本文的K8S的版本是 v1.8.2, ISTIO v0.2.12。 服务网格简介服务网格（Service Mesh）是为解决微服务的通信和治理而出现的一种架构模式。服务网格将服务间通讯以及与此相关的管理控制功能从业务程序中下移到一个基础设施层，从而彻底隔离了业务逻辑和服务通讯两个关注点。采用服务网格后，应用开发者只需要关注并实现应用业务逻辑。服务之间的通信，包括服务发现，通讯...

问题导读：1.zookeeper在kafka的作用是什么？2.kafka中几乎不允许对消息进行“随机读写”的原因是什么？3.kafka集群consumer和producer状态信息是如何保存的？4.partitions设计的目的的根本原因是什么？ 一、入门    1、简介    Kafka is a distr

分布式系统中的读写模型　　分布式系统是由多个节点（指代一台服务器、存储设备等）构成，由于网络异常、宕机等节点并不能保证正常工作，特别是在节点数量很大的时候，出现异常状况的节点几乎是肯定的。为了保证系统的正常运行，能够提供可靠的服务，分布式系统中对于数据的存储采用多份数据副本（注：这里的副本并非只用来备份，它可参与提供系统服务）来保证可靠性，也就是其中一个节点上读取数据失败了那么可以转向另外

原文地址总结：设计编码的规则如下：下单渠道1位+支付渠道1位+业务类型1位+时间信息4位+下单时间的Unix时间戳后8位（加上随机码随机后的数字）+用户user id后4位。然后你会说，这样算下来就订单号就19位了啊，一点都不精简啊，不好记不好念不好输的。但我说的上面的这些业务标记，你不一定要全部加上啊。这里“”Unix时间戳后8位（加上随机码随机后的数

1、Quartz任务调度的基本实现原理　　Quartz是OpenSymphony开源组织在任务调度领域的一个开源项目，完全基于Java实现。作为一个优秀的开源调度框架，Quartz具有以下特点：　　　　（1）强大的调度功能，例如支持丰富多样的调度方法，可以满足各种常规及特殊需求；　　　　（2）灵活的应用方式，例如支持任务和调度的多种组合方式，支持调度数据的多种存储方式；

分布式任务系统：比较有名的是　Quartz集群版（Spring  带的），tbschedule（阿里开源），elastic-job(当当开源)。tbschedule 地址：http://code.taobao.org/p/tbschedule/wiki/index/

转一篇不错的文章：不久前，我们讨论过Nginx+tomcat组成的集群，这已经是非常灵活的集群技术，但是当我们的系统遇到更大的瓶颈，全部应用的单点服务器已经不能满足我们的需求，这时，我们要考虑另外一种，我们熟悉的内容，就是分布式，而当下流行的Dubbo框架，不容我们忽视，这里，咱们一起来探讨一下这个框架的使用。一，背景    以前我们需要

概述Zookeeper是Apache下的项目之一，倾向于对大型应用的协同维护管理工作。IBM则给出了IBM对ZooKeeper的认知： Zookeeper 分布式服务框架是 Apache Hadoop 的一个子项目，它主要是用来解决分布式应用中经常遇到的一些数据管理问题，如：统一命名服务、状态同步服务、集群管理、分布式应用配置项的管理等。总之，可以用“协调”这个核心的词来形容它的作用。关于

Zookeeper到底是什么！？学一个东西，不搞明白他是什么东西，哪还有心情学啊！！ 首先，Zookeeper是Apache的一个Java项目，属于Hadoop系统，扮演管理员的角色。 然后看到官网那些专有名词，实在理解不了。在Zookeeper的官网上有这么一句话：ZooKeeper is a centralized service for maintaining confi

ooKeeper 是 Apache 的一个顶级项目，为分布式应用提供高效、高可用的分布式协调服务，提供了诸如数据发布/订阅、负载均衡、命名服务、分布式协调/通知和分布式锁等分布式基础服务。由于 ZooKeeper 便捷的使用方式、卓越的性能和良好的稳定性，被广泛地应用于诸如 Hadoop、HBase、Kafka 和 Dubbo 等大型分布式系统中。本文的目标读者是对 ZooKeeper 有

TBSchedule是一款非常优秀的高性能分布式调度框架，在本人的实际项目中也用到并改进了该代码，效果还不错。下面整理了一篇不错的介绍该框架不错的文章。转文开始：本文是作者结合多年使用TBSchedule的经验，在研读三遍源码的基础上完成。期间作者也与阿里空玄有过不少技术交流，并非常感谢空玄给予的大力支持。另外，作者写这篇文章的目的一是出于对TBSchedule的一种热爱，