hadoop小知识札记

hadoop实现全局变量： 只读的可以，可修改的不行，只读的可以通过configuration 或者分布式缓存实现。

 

hadoop做图像处理时，每个map读入一个图片,每个map读入一张图片，然后所有的map还要读取一张全局图片再两张图片一起处理
每个map读取一个，会产生太多的map，可以一个map读取多个。

但最好，把文件放到HBase中，用MR处理。因为hdfs存大量小文件 效率很低

 

hadoop一般处理十亿数据，要达到秒级，需要5-7个节点，节点用是16C 24G的服务器

 

Paritioner接口设计与实现

TotalOrderPartitioner就是一个partitioner，使用这个parittioner就能完成整体排序。多reduce

 

 

HashPartitions

简单join关联，等值join可以有多个reduce，不等值，不行，只能有一个