2014年05月__猪头饼_

翻译翻译-In-Stream Big Data Processing 流式大数据处理

原文：http://highlyscalable.wordpress.com/2013/08/20/in-stream-big-data-processing/作者：IlyaKatsov相当长一段时间以来，大数据社区已经普遍认识到了批量数据处理的不足。很多应用都对实时查询和流式处理产生了迫切需求。最近几年，在这个理念的推动下，催生出了一系列解决方案，Twitter Storm，Yahoo

2014-05-16 04:22:07 6009 2

原创读书笔记-APUE第三版-(8)进程控制

进程ID每个进程都有一个唯一的进程ID。几个特殊进程：0号进程是内核进程，通常是调度进程swapper。1号进程init，是用户进程（以root权限运行/sbin/init），负责初始化几个重要函数：getpid(进程ID)/getppid(父进程ID)/getuid(进程真实用户ID)/geteuid(进程有效用户ID)/getgid(进程真实用户组ID)/getegid(进程有

2014-05-07 21:44:56 1540

原创读书笔记-APUE第三版-(7)进程环境

本章关注单进程运行环境：启动&终止、参数传递和内存布局等。进程启动终止如图所示：启动：内核通过exec函数执行程序，在main函数运行之前，会调用启动例程(start-up routine),取得命令行参数和环境变量。可以把启动例程理解为exit(main(argc,argv))。终止：五种正常终止方式(从main方法返回/exit/_exit/最后一个线程返回/最

2014-05-06 13:24:43 1898

原创读书笔记-APUE第三版-(6)系统数据文件和信息

常见系统数据文件下表列出了常见的系统数据文件及其查找函数。以/etc/passwd文件为例，读取数据的程序框架如下：void get_pw_entry(){ struct passwd *ptr; setpwent(); while ((ptr = getpwent()) != 0) { …… } endpwe

2014-05-05 20:25:11 1553

原创 MySQL与OLAP：分析型SQL查询最佳实践探索

搞点多维分析，糙快猛的解决方案就是使用ROLAP（关系型OLAP）了。数据经维度建模后存储在MySQL，ROLAP引擎（比如开源的Mondrian）负责将OLAP请求转化为SQL语句提交给数据库。OLAP计算分析功能导致MySQL需要进行较多复杂SQL查询，性能调优必不可少，本文总结了一些实用原则。OLAP特点OLAP的典型应用包括复杂动态报表，需要支持钻取（上卷和下钻）、切片、切块和旋转

2014-05-05 15:24:50 12539 1

原创 Pig系统分析(8)-Pig可扩展性

本文是Pig系统分析系列中的最后一篇了，主要讨论如何扩展Pig功能，不仅介绍Pig本身提供的UDFs扩展机制，还从架构上探讨Pig扩展可能性。补充说明：前两天同事发现twitter推动的Pig On Spark项目：Spork，准备研究下。UDFs通过UDFs（用户自定义函数），可以自定义数据处理方法，扩展Pig功能。实际上，UDFS除了使用之前需要register/define外，和

2014-05-05 14:35:29 2444

原创 Pig系统分析(7)-Pig实用工具类

ExplainExplain是Pig提供的调试工具，使用explain可以输出Pig Lation的执行计划。值得一提的是，explain支持-dot选项，将执行计划以DOT格式输出， (DOT是一种图形描述语言，请参考http://zh.wikipedia.org/zh/DOT%E8%AF%AD%E8%A8%80)代码实现详见org.apache.pig.impl.plan.DotPla

2014-05-05 11:07:38 1635

原创读书笔记-APUE第三版-(5)标准IO库

ISO C标准I/O库使用流的概念读写文件。流是对数据传输的抽象，可以把流理解为从起点到终点间的字节序列。标准I/O库通过维护进程空间内的缓冲区，减少read/write系统调用次数来提高I/O效率。之前介绍的Unbuffered I/O和文件描述符fd打交道，标准I/O则使用FILE指针。typedef struct{ short level;/*缓冲区满程度*/ uns

2014-05-04 21:24:48 1296

原创 Pig系统分析(6)-从Physical Plan到MR Plan再到Hadoop Job

从Physical plan到Map-Reduce Plan注：因为我们重点关注的是Pig On Spark针对RDD的执行计划，所以Pig物理执行计划之后的后端参考意义不大，这些部分主要分析流程，忽略实现细节。入口类MRCompiler，MRCompilier按照拓扑顺序遍历物理执行计划中的节点，将其转换为MROperator，每个MROperator都代表一个map-reduce j

2014-05-04 17:10:12 1990

Idontwantobe