2014年06月_弓永峰

09月 08月 07月 06月 05月 04月 03月 02月 01月

原创 mapreduce shuffle分析

mapreduce的核心主要是根据map的outputKey进行排序。排序分为内排序和外排序

2014-06-17 22:02:24 772

转载高性能网络编程5--IO复用与并发编程

好文章必须要转，转载地址：对于服务器的并发处理能力，我们需要的是：每一毫秒服务器都能及时处理这一毫秒内收到的数百个不同TCP连接上的报文，与此同时，可能服务器上还有数以十万计的最近几秒没有收发任何报文的相对不活跃连接。同时处理多个并行发生事件的连接，简称为并发；同时处理万计、十万计的连接，则是高并发。服务器的并发编程所追求的就是处理的并发连接数目无限大，同时维持着高效率使用CP

2014-06-16 20:01:57 688

转载高性能网络编程3----TCP消息的接收

好文章必须要转啊，转载地址：这篇文章将试图说明应用程序如何接收网络上发送过来的TCP消息流，由于篇幅所限，暂时忽略ACK报文的回复和接收窗口的滑动。为了快速掌握本文所要表达的思想，我们可以带着以下问题阅读：1、应用程序调用read、recv等方法时，socket套接字可以设置为阻塞或者非阻塞，这两种方式是如何工作的？2、若socket为默认的阻塞套接字，此时recv

2014-06-16 19:25:38 729

转载高性能网络编程（一）----accept建立连接

转载地址：http://blog.csdn.net/russell_tao/article/details/9111769最近在部门内做了个高性能网络编程的培训，近日整理了下PPT，欲写成一系列文章从应用角度谈谈它。编写服务器时，许多程序员习惯于使用高层次的组件、中间件（例如OO（面向对象）层层封装过的开源组件），相比于服务器的运行效率而言，他们更关注程序开发的效率，追求更快的完成

2014-06-16 15:42:56 679

转载 IO - 同步，异步，阻塞，非阻塞

转载地址： http://blog.csdn.net/historyasamirror/article/details/5778378同步（synchronous） IO和异步（asynchronous） IO，阻塞（blocking） IO和非阻塞（non-blocking）IO分别是什么，到底有什么区别？这个问题其实不同的人给出的答案都可能不同，比如wiki，就认为asynchrono

2014-06-16 11:16:10 528

转载 web.xml 详解

web.xml文件详解　　前言：一般的web工程中都会用到web.xml，web.xml主要用来配置，可以方便的开发web工程。web.xml主要用来配置Filter、Listener、Servlet等。但是要说明的是web.xml并不是必须的，一个web工程可以没有web.xml文件。1、WEB工程加载web.xml过程　　经过个人测试，WEB工程加载顺序与元素节点在文件中的配

2014-06-12 17:07:55 667

转载大数据处理经典方法

转载地址：http://my.oschina.net/winHerson/blog/2094201.Hadoop集群可以运行的3个模式？单机（本地）模式伪分布式模式全分布式模式2. 单机（本地）模式中的注意点？在单机模式（standalone）中不会存在守护进程，所有东西都运行在一个JVM上。这里同样没有DFS，使用的是本地文件系统。单机模式适用于开发过程中运

2014-06-12 13:07:44 12590

原创 java.util.BitSet 分析

我们知道bit-map在大数据处理方面有着很大的用途，比如

2014-06-12 11:32:25 5068

转载白话经典算法系列之七堆与堆排序

堆排序与快速排序，归并排序一样都是时间复杂度为O(N*logN)的几种常见排序方法。学习堆排序前，先讲解下什么是数据结构中的二叉堆。二叉堆的定义二叉堆是完全二叉树或者是近似完全二叉树。二叉堆满足二个特性：1．父结点的键值总是大于或等于（小于或等于）任何一个子节点的键值。2．每个结点的左子树和右子树都是一个二叉堆（都是最大堆或最小堆）。当父结点的键值总

2014-06-11 22:00:28 658

转载 DDD领域驱动设计基本理论知识总结

加一个导航，关于如何设计聚合的详细思考，见这篇文章。2004年Eric Evans 发表Domain-Driven Design –Tackling Complexity in the Heart of Software （领域驱动设计），简称Evans DDD。领域驱动设计分为两个阶段：以一种领域专家、设计人员、开发人员都能理解的通用语言作为相互交流的工具，在交流的过程中发现领域

2014-06-11 16:20:35 3116

转载 Java so_linger

转载地址： http://blog.csdn.net/woshisap/article/details/65767191：设置该选项: public void setSoLinger(boolean on, int seconds) throws SocketException; 读取该选项：public int getSoLinger() throws SocketExc

2014-06-10 14:32:20 682

原创 JAVA Timer 分析

java提供了一个简单的定时器 Timer，相关的类有

2014-06-09 20:33:22 535

原创 zookeeper源码分析-client分析

最近在阅读 zookeeper的源码，现在把zookeeper client端的代码

2014-06-08 12:16:36 1160

原创 DNS deployment on CentOS

DNS is the short name of Domain Name System.The Requirement:CentOS 6.5bind (bind is the short name of Berkeley Internet Name Domain)Structure Design:master: 192.168.0.33slave : 192

2014-06-05 17:08:20 643