hadoop小知识札记

标签: hadoop
1137人阅读 评论(0) 收藏 举报
分类:
hadoop实现全局变量: 只读的可以,可修改的不行,只读的可以通过configuration 或者分布式缓存实现。
 

hadoop做图像处理时,每个map读入一个图片,每个map读入一张图片,然后所有的map还要读取一张全局图片再两张图片一起处理
每个map读取一个,会产生太多的map,可以一个map读取多个。
但最好,把文件放到HBase中,用MR处理。因为hdfs存大量小文件 效率很低
 
hadoop一般处理十亿数据,要达到秒级,需要5-7个节点,节点用是16C 24G的服务器
 
Paritioner接口设计与实现
TotalOrderPartitioner就是一个partitioner,使用这个parittioner就能完成整体排序。多reduce
 
 
HashPartitions
简单join关联,等值join可以有多个reduce,不等值,不行,只能有一个
 
 
 
0
0

查看评论
* 以上用户言论只代表其个人观点,不代表CSDN网站的观点或立场
    个人资料
    • 访问:1006939次
    • 积分:11604
    • 等级:
    • 排名:第1379名
    • 原创:243篇
    • 转载:183篇
    • 译文:0篇
    • 评论:104条
    文章分类
    最新评论