hadoop小知识札记

hadoop实现全局变量: 只读的可以,可修改的不行,只读的可以通过configuration 或者分布式缓存实现。
 

hadoop做图像处理时,每个map读入一个图片,每个map读入一张图片,然后所有的map还要读取一张全局图片再两张图片一起处理
每个map读取一个,会产生太多的map,可以一个map读取多个。
但最好,把文件放到HBase中,用MR处理。因为hdfs存大量小文件 效率很低
 
hadoop一般处理十亿数据,要达到秒级,需要5-7个节点,节点用是16C 24G的服务器
 
Paritioner接口设计与实现
TotalOrderPartitioner就是一个partitioner,使用这个parittioner就能完成整体排序。多reduce
 
 
HashPartitions
简单join关联,等值join可以有多个reduce,不等值,不行,只能有一个
 
 
 
阅读更多
版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/longshenlmj/article/details/17075581
文章标签: hadoop
个人分类: 云计算 综述 hadoop
想对作者说点什么? 我来说一句

LabVIEW学习札记

2010年06月28日 9.23MB 下载

没有更多推荐了,返回首页

加入CSDN,享受更精准的内容推荐,与500万程序员共同成长!
关闭
关闭