2013年11月_danney945

转载教你如何迅速秒杀掉：99%的海量数据处理面试题

教你如何迅速秒杀掉：99%的海量数据处理面试题作者：July出处：结构之法算法之道blog前言一般而言，标题含有“秒杀”，“99%”，“史上最全/最强”等词汇的往往都脱不了哗众取宠之嫌，但进一步来讲，如果读者读罢此文，却无任何收获，那么，我也甘愿背负这样的罪名，:-)，同时，此文可以看做是对这篇文章：十道海量数据处理面试题与十个方法大总结的一般抽象性总结。

2013-11-29 16:35:27 512

转载 hash函数学习总结，以及与hashcode()、hashMap的关系

以前一直觉得hash函数很深奥，上王珊的《数据库实现原理》的时候，似乎明白了一点点，但是到学java的时候，频繁接触到hashcode()，hashMap这些，就总在想这三者之间有关系吗？hash函数是什么？hashcode()，hashMap和hash函数又有什么关系呢？今天终于对这个问题有了初步的学习和理解：1.什么是hash函数：1）来自：http://beyon

2013-11-29 15:58:44 877

原创 Cron表达式

Cron表达式被用来配置CronTrigger实例。 Cron表达式是一个由 7个子表达式组成的字符串。每个子表达式都描述了一个单独的日程细节。这些子表达式用空格分隔，分别表示： 1. Seconds 秒 2. Minutes 分钟 3. Hours 小时 4. Day-of-Month 月中的天 5. Month 月 6. Day-of-Week 周中的天 7.

2013-11-18 14:46:47 520

转载 Beatles小记－分布式数据流分析框架（一）

Author：放翁（文初）Email：fangweng@taobao.comMblog:weibo.com/fangwengBlog: http://blog.csdn.net/cenwenchu79/ 概述重要：全文内容都是参照这个源码地址内容所写，因此两边对着看会更清晰明了：https://github.com/cenwenchu/beatles

2013-11-05 17:05:50 709

转载谷歌技术"三宝"之谷歌文件系统

题记：初学分布式文件系统，写篇博客加深点印象。GFS的特点是使用一堆廉价的商用计算机支撑大规模数据处理。虽然"The Google File System " 是03年发表的老文章了，但现在仍被广泛讨论，其对后来的分布式文件系统设计具有指导意义。然而，作者在设计GFS时，是基于过去很多实验观察的，并提出了很多假设作为前提，这等于给出了一个GFS的应用场景。所以我们自己在设计分布式系统时，一定要

2013-11-05 16:06:59 847

2006年的OSDI有两篇google的论文，分别是BigTable和Chubby。Chubby是一个分布式锁服务，基于Paxos算法；BigTable是一个用于管理结构化数据的分布式存储系统，构建在GFS、Chubby、SSTable等google技术之上。相当多的google应用使用了BigTable，比如Google Earth和Google Analytics，因此它和GFS、MapRed

2013-11-05 15:52:52 627

转载谷歌技术"三宝"之MapReduce

谷歌在03到06年间连续发表了三篇很有影响力的文章，分别是03年SOSP的GFS，04年OSDI的MapReduce，和06年OSDI的BigTable。SOSP和OSDI都是操作系统领域的顶级会议，在计算机学会推荐会议里属于A类。SOSP在单数年举办，而OSDI在双数年举办。那么这篇博客就来介绍一下MapReduce。1. MapReduce是干啥的因为没找到谷歌的示意图，所以我想借

2013-11-05 15:25:14 662

转载一个因中断导致的死锁分析

最近在一次压测过程中暴露出notify client的一个死锁问题，发生死锁的场景是消息的可靠异步发送，具体过程是：（生产者）消息发送线程拿到队列锁，当队列未满的时候写入消息，释放锁，当队列满的时候，释放锁，等待队列空条件。（消费者）刷盘线程拿到队列锁，当队列有数据的时候，取数据清空队列，释放锁，再把取出来的消息数据刷盘持久化；没数据的时候，释放锁，等待队列非空条件。这是一个典型的多生

2013-11-04 10:05:51 1263

u011299686的专栏