2014年02月_快乐程序员

12月 11月 10月 09月 07月 05月 03月 02月 01月

转载下一代的APACHE HADOOP MAPREDUCE : YARN

本文翻译自：http://developer.yahoo.com/blogs/hadoop/posts/2011/02/mapreduce-nextgen/原文地址：http://www.rigongyizu.com/the-next-generation-of-apache-hadoop-mapreduce/概述在大数据商业领域，运行少而大的集群比运行很多小的集群成本更低

2014-02-18 14:24:57 1421

转载 HADOOP 2.0 YARN应用程序的执行流程和开发

在yarn的官方文档上有一篇很经典的Hadoop MapReduce Next Generation – Writing YARN Applications，讲述了如果编写基于hadoop 2.0 yarn的应用程序（中文翻译版）。本文主要讲述yarn程序的执行流程和如何进行开发的一点想法。原文地址：http://www.rigongyizu.com/how-to-write-hado

2014-02-18 12:50:22 3885

转载下一代的HADOOP MAPREDUCE – 如何编写YARN应用程序

本文翻译自hadoop官方文档：Hadoop MapReduce Next Generation – Writing YARN Applications原文地址：http://www.rigongyizu.com/hadoop-mapreduce-next-generation-writing-yarn-applications/目的本文在一个比较高的层面上描述了如何在

2014-02-18 10:11:37 1564

转载 SVN中tag branch trunk用法详解

本节主要讲解一下SVN中tag branch trunk的用法，在SVN中Branch/tag在一个功能选项中，在使用中也往往产生混淆。这里就向大家简单介绍一下，欢迎大家能和我一起学习SVN中tag branch trunk的用法。在实现上，branch和tag，对于svn都是使用copy实现的，所以他们在默认的权限上和一般的目录没有区别。至于何时用tag，何时用branch，完全由

2014-02-17 18:17:59 1368

转载 Hive小文件合并调研

背景Hive query将运算好的数据写回hdfs（比如insert into语句），有时候会产生大量的小文件，如果不采用CombineHiveInputFormat就对这些小文件进行操作的话会产生大量的map task，耗费大量集群资源，而且小文件过多会对namenode造成很大压力。所以Hive在正常job执行完之后，会起一个conditional task，来判断是否需要合并小文件，如果

2014-02-13 15:00:50 1215

原创 hql中小文件合并操作

老大昨天发给我一个hql：create table zx_car_weibo_41_tmpas select * from ods_tblog_content where dt = '20130101' and ((content like '%4C%') or ( extend like '%4C%')) and ((content like '%雪铁龙%') or

2014-02-13 14:57:39 3207

转载深入理解SetUID

最近在看hadoop关于map/reduce任务运行部分的代码，看到任务启动时的权限涉及到linux的setuid，以下是关于介绍setuid的一篇很好的文章，贴出来以备后用。==============================================================================================================

2014-02-12 16:20:02 1408

Oracle中ROWNUM的使用技巧

Oracle中ROWNUM的使用技巧,包括对rownum使用方法的技巧进行了详细说明，值得下载

2010-11-24

java 并发编程教程

java 并发编程 ThreadLocal 内存模型 JDK并发包编程并发集合显示锁数据冲突死锁

2010-06-17

spring aop 自定义切面示例

spring aop 自定义切面示例 aspectj 需要相应的架包支持

2010-06-17

quartz_job_scheduling_framework_中文版

quartz 中文版 api 任务调度 quartz与WEB应用

2010-03-21

HTTP是一个属于应用层的面向对象的协议，由于其简捷、快速的方式，适用于分布式超媒体信息系统。它于1990年提出，经过几年的使用与发展，得到不断地完善和扩展。目前在WWW中使用的是HTTP/1.0的第六版，HTTP/1.1的规范化工作正在进行之中，而且HTTP-NG(Next Generation of HTTP)的建议已经提出。 HTTP协议的主要特点可概括如下： 1.支持客户/服务器模式。 2.简单快速：客户向服务器请求服务时，只需传送请求方法和路径。请求方法常用的有GET、HEAD、POST。每种方法规定了客户与服务器联系的类型不同。由于HTTP协议简单，使得HTTP服务器的程序规模小，因而通信速度很快。 3.灵活：HTTP允许传输任意类型的数据对象。正在传输的类型由Content-Type加以标记。 4.无连接：无连接的含义是限制每次连接只处理一个请求。服务器处理完客户的请求，并收到客户的应答后，即断开连接。采用这种方式可以节省传输时间。 5.无状态：HTTP协议是无状态协议。无状态是指协议对于事务处理没有记忆能力。缺少状态意味着如果后续处理需要前面的信息，则它必须重传，这样可能导致每次连接传送的数据量增大。另一方面，在服务器不需要先前信息时它的应答就较快。

2009-10-25

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

快乐程序员的专栏

转载下一代的APACHE HADOOP MAPREDUCE : YARN

转载 HADOOP 2.0 YARN应用程序的执行流程和开发

转载下一代的HADOOP MAPREDUCE – 如何编写YARN应用程序

转载 SVN中tag branch trunk用法详解

转载 Hive小文件合并调研

原创 hql中小文件合并操作

转载深入理解SetUID

oracle 内置sql函数

Oracle中ROWNUM的使用技巧

java 并发编程教程

spring aop 自定义切面示例

quartz_job_scheduling_framework_中文版

非常漂亮的个人主页模板

HTTP协议详解学习servlet的必备资料

UML类图各种关系详解

java 异常详解，java异常分类，创建自己的异常

servlet 返回 URL

空空如也

oracle 内置sql函数

Oracle中ROWNUM的使用技巧

java 并发编程教程

spring aop 自定义切面示例

quartz_job_scheduling_framework_中文版

非常漂亮的个人主页模板

HTTP协议详解 学习servlet的必备资料

UML类图各种关系详解

java 异常详解，java异常分类，创建自己的异常

servlet 返回 URL

空空如也

HTTP协议详解学习servlet的必备资料