2015年10月_Heaven-Wang

11月 10月 09月 08月 05月 04月 03月

转载 MySQL索引背后的数据结构及算法原理

摘要本文以MySQL数据库为研究对象，讨论与数据库索引相关的一些话题。特别需要说明的是，MySQL支持诸多存储引擎，而各种存储引擎对索引的支持也各不相同，因此MySQL数据库支持多种索引类型，如BTree索引，哈希索引，全文索引等等。为了避免混乱，本文将只关注于BTree索引，因为这是平常使用MySQL时主要打交道的索引，至于哈希索引和全文索引本文暂不讨论。文章主要内容分为三个部分

2015-10-31 08:56:15 3156

Java Collection API提供了一些列的类和接口来帮助我们存储和管理对象集合。其实Java中的集合工作起来像是一个数组，不过集合的大小是可以动态改变的，而且集合也提供了更多高级功能。有了JavaCollectionAPI，我们就不需要自己编写集合类了，大部分Java集合类都位于java.util包里面，还有一些和并发相关的集合类位于java.util.concurrent包中。下面就介绍

2015-10-30 17:06:36 3711 3

原创 Yarn 调度器Scheduler详解

理想情况下，我们应用对Yarn资源的请求应该立刻得到满足，但现实情况资源往往是有限的，特别是在一个很繁忙的集群，一个应用资源的请求经常需要等待一段时间才能的到相应的资源。在Yarn中，负责给应用分配资源的就是Scheduler。其实调度本身就是一个难题，很难找到一个完美的策略可以解决所有的应用场景。为此，Yarn提供了多种调度器和可配置的策略供我们选择。一、调度器的选择在Yarn中有三种调度器可以选

2015-10-30 11:32:35 22536 7

原创 Hadoop Yarn详解

一、Yarn简介Yarn是Hadoop集群的资源管理系统。Hadoop2.0对MapReduce框架做了彻底的设计重构，我们称Hadoop2.0中的MapReduce为MRv2或者Yarn。在介绍Yarn之前，我们先回头看一下Hadoop1.x对MapReduce job的调度管理方式（可参考：Hadoop核心之MapReduce架构设计），它主要包括两部分功能：1. ResourceManagem

2015-10-29 09:46:23 43076 9

原创 Java线程池类ThreadPoolExecutor、ScheduledThreadPoolExecutor及Executors工厂类

Java中的线程池类有两个，分别是：ThreadPoolExecutor和ScheduledThreadPoolExecutor，这两个类都继承自ExecutorService。利用这两个类，可以创建各种不同的Java线程池，为了方便我们创建线程池，Java API提供了Executors工厂类来帮助我们创建各种各样的线程池。下面我们分别介绍一下这三个类。Java线程池ExecutorService

2015-10-27 10:02:48 18773

原创 Java线程池 ExecutorService

本篇主要涉及到的是java.util.concurrent包中的ExecutorService。ExecutorService就是Java中对线程池的实现。一、ExecutorService介绍ExecutorService是Java中对线程池定义的一个接口，它java.util.concurrent包中，在这个接口中定义了和后台任务执行相关的方法： Java API对ExecutorServ

2015-10-27 09:33:19 110418 21

原创 Hadoop核心之MapReduce架构设计

Hadoop主要由两大部分组成，一个是分布式文件系统即HDFS，另一个是分布式计算框架MapReduce。关于HDFS详细介绍请参考：【Hadoop核心之HDFS 架构设计】本篇重点介绍分布式计算框架MapReduce。在Hadoop的MapReduce框架中主要涉及到两个组件：JobTracker和TaskTracker（HDFS中的组件是NameNode和DataNode），下面我们就分别看一下

2015-10-23 18:20:58 6807 2

原创【Java并发之】BlockingQueue

本文主要讲的是并发包中涉及到的集合，关于普通集合，请参考【java 集合概览】一、什么是BlockingQueueBlockingQueue即阻塞队列，从阻塞这个词可以看出，在某些情况下对阻塞队列的访问可能会造成阻塞。被阻塞的情况主要有如下两种：1. 当队列满了的时候进行入队列操作2. 当队列空了的时候进行出队列操作因此，当一个线程试图对一个已经满了的队列进行入队列操作时，它将会被阻塞，除非有另

2015-10-23 11:50:31 35509 3

原创 Trident State 详解

一、什么是Trident State直译过来就是trident状态，这里的状态主要涉及到Trident如何实现一致性语义规则，Trident的计算结果将被如何提交，如何保存，如何更新等等。我们知道Trident的计算都是以batch为单位的，但是batch在中的tuple在处理过程中有可能会失败，失败之后bach又有可能会被重播，这就涉及到很多事务一致性问题。Trident State就是管理这些问

2015-10-22 14:00:40 4201

原创 java 线程详解

一、概念1.1 基本概念进程是程序执行的一个实例，比如说，10个用户同时执行IE，那么就有10个独立的进程(尽管他们共享同一个可执行代码)。进程的特点，每一个进程都有自己的独立的一块内存空间、一组资源系统。其内部数据和状态都是完全独立的。怎么看待多进程？进程的优点是提高CPU运行效率，在同一时间内执行多个程序，即并发执行。但是从严格上讲,也不是绝对的同一时刻执行多个程序，只不过CPU在执行时通过时间

2015-10-19 18:23:19 3531

原创 Java synchronized 介绍

我们知道Java API提供了丰富的多线程机制，但是要想多线程机制能够正常运转，需要采取一些措施来防止多个线程访问相同的资源。为防止出现这样的冲突，只需在线程使用一个资源时为其加锁即可。访问资源的第一个线程加上锁以后，其他线程便不能再使用那个资源，除非被解锁。而在java中，对这种特殊的资源—— 对象中的内存—— Java 提供了内建的机制来防止它们的冲突。用Java中的Synchronized关键

2015-10-13 16:10:09 7379 4

原创 FTPClient连接池的实现

最近在写一个FTP上传工具，用到了Apache的FTPClient，为了提高上传效率，我采用了多线程的方式，但是每个线程频繁的创建和销毁FTPClient对象势必会造成不必要的开销，因此，此处最好使用一个FTPClient连接池。仔细翻了一下Apache的api，发现它并没有一个FTPClientPool的实现，所以，不得不自己写一个FTPClientPool。下面就大体介绍一下开发连接池的整个过程

2015-10-08 10:59:51 32886 18

md3loader，导入md3模型源程序

一个经典md3动画格式，用opengl实现图形驱动，可用于3d游戏的研究

2009-09-03

会跳舞的花，opengl源程序

在VC平台下开发的一个opengl程序，用到了导入3d和2d图片技术很适合初中级水平研究