2013年10月_坚持到底cw

12月 11月 10月

原创 hadoop子项目---pig

1、Pig包括用于描述数据流的语言Pig Latin和用于运行Pig Latin的执行环境（单JVM中的本地执行环境和hadoop集群上的分布式环境）。2.Pig会扫描整个数据集或其中很大的一部分，因此它不支持低延迟查询。3.Pig的执行模式分为本地模式pig -x local（访问本地文件系统，适用于小规模数据集）和mapreduce模式（Pig将查询翻译为mapredu

2013-10-04 16:42:02 1312

原创 VM下搭建hadoop集群

一．前期准备1.安装VMware_Workstation_wmb2.安装三台CentOS-6.3-i386-bin-DVD1 Master；192.168.66.174 Slave1：192.168.66.171 Slave2：9:1.168.66.173二．安装步骤：（在安装centos时就把pc的名字改好，免得后面改hostna

2013-10-04 16:34:34 2368

原创 hadoop细节---reduce任务数量

1.reduce任务的数量并非由输入数据的大小决定，而是特别指定的。可以设定mapred.tasktracker.map.task.maximum和mapred.tasktracker.reduce.task.maximum属性的值来指定map和reduce的数量。2.reduce最优个数与集群中可用的reduce任务槽相关，总槽数由节点数乘以每个节点的任务槽。3.本地作业运行器上，只支持

2013-10-04 16:15:59 5770