hadoop小知识札记

原创 2013年12月02日 16:29:45
hadoop实现全局变量: 只读的可以,可修改的不行,只读的可以通过configuration 或者分布式缓存实现。
 

hadoop做图像处理时,每个map读入一个图片,每个map读入一张图片,然后所有的map还要读取一张全局图片再两张图片一起处理
每个map读取一个,会产生太多的map,可以一个map读取多个。
但最好,把文件放到HBase中,用MR处理。因为hdfs存大量小文件 效率很低
 
hadoop一般处理十亿数据,要达到秒级,需要5-7个节点,节点用是16C 24G的服务器
 
Paritioner接口设计与实现
TotalOrderPartitioner就是一个partitioner,使用这个parittioner就能完成整体排序。多reduce
 
 
HashPartitions
简单join关联,等值join可以有多个reduce,不等值,不行,只能有一个
 
 
 
版权声明:本文为博主原创文章,未经博主允许不得转载。

相关文章推荐

嵌入式开发硬件知识札记

三态逻辑 1. 概念 三态指其输出既可以是一般二值逻辑电路,即正常的高电平(逻辑1)或低电平(逻辑0),又可以保持特有的高阻抗状态。高阻态相当于隔断状态(电阻很大,相当于开路)...

【asp.net 小札记】小知识点

1、jquery操作frame元素     1.1在父窗口中操作 选中IFRAME中的所有单选钮     $(window.frames["iframe1"].document).find("in...

并发知识点札记

首先需要明确的是:多线程开发并不等于高并发解决方案。

PHP开发:使用PHP抓取百万知乎用户以及知识点札记

源博客链接:http://developer.51cto.com/art/201509/492576.htm 代码托管地址:https://github.com/hhqcontinue/zhih...

hadoop理论知识

  • 2013年06月19日 11:42
  • 221KB
  • 下载

Hadoop相关零散知识点——转自我来了!

Hadoop相关零散知识点 目录 1、Hadoop三种安装模式 2、Hadoop集群--图解 3、机架结构图—图解 4、Hadoo...

hadoop知识结构图

  • 2017年10月31日 09:53
  • 76KB
  • 下载

hadoop基础知识扫盲

  • 2016年01月27日 11:42
  • 3.25MB
  • 下载

Hadoop --基础知识-合并文件简单示例

Hadoop有几个组件: =========================== NameNode Hadoop 在分布式计算与存储中都采用 主/从结构。分布式存储被称为 HDFS. Name...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:hadoop小知识札记
举报原因:
原因补充:

(最多只允许输入30个字)