hadoop小知识札记

原创 2013年12月02日 16:29:45
hadoop实现全局变量: 只读的可以,可修改的不行,只读的可以通过configuration 或者分布式缓存实现。
 

hadoop做图像处理时,每个map读入一个图片,每个map读入一张图片,然后所有的map还要读取一张全局图片再两张图片一起处理
每个map读取一个,会产生太多的map,可以一个map读取多个。
但最好,把文件放到HBase中,用MR处理。因为hdfs存大量小文件 效率很低
 
hadoop一般处理十亿数据,要达到秒级,需要5-7个节点,节点用是16C 24G的服务器
 
Paritioner接口设计与实现
TotalOrderPartitioner就是一个partitioner,使用这个parittioner就能完成整体排序。多reduce
 
 
HashPartitions
简单join关联,等值join可以有多个reduce,不等值,不行,只能有一个
 
 
 
版权声明:本文为博主原创文章,未经博主允许不得转载。

Hadoop的一些基础知识

Hadoop是一个能够对大量数据进行分布式处理的软件框架。 Hadoop 以一种可靠、高效、可伸缩的方式进行数据处理。因为它假设计算元素和存储会失败,因此它维护多个工作数据副本,确保能够针对失败的节点...
  • leiline
  • leiline
  • 2017年03月31日 15:30
  • 844

hadoop核心知识点总结

1、  安装hadoop需要配置的hadoop中的配置文件有哪些? hadoop-env.shyarn-env.shcore-site.xmlhdfs-site.xmlmapred-site...
  • wl1411956542
  • wl1411956542
  • 2016年10月14日 17:22
  • 2088

Android实习札记(6)---ViewPager使用详解

Android实习札记(6)---ViewPager使用详解                                    ——转载请注明出处:coder-pig 札记(5)中介绍...
  • u014450015
  • u014450015
  • 2016年01月12日 00:19
  • 451

【Python】python小知识札记

1、在交互式解释器中显示变量的值,可以用print语句显示变量的字符串表示,或者仅用变量名查看变量的原始值,前者调用str()函数显示对象,而后者则调用repr()函数显示对象,结果相同,只是显示方式...
  • iEearth
  • iEearth
  • 2015年04月17日 13:15
  • 888

Hadoop学习笔记(一)---Linux基本知识说明

Hadoop的生成环境都是在linux下面,不过呢hadoop2.x 已经开始支持windows平台,但是支持并不是很好,因此熟悉linux的命令是很重要的,需要熟悉linux的基本命令和环境的基本配...
  • garychenqin
  • garychenqin
  • 2015年05月30日 15:05
  • 596

hadoop知识点总结

hadoop知识点总结hadoop原理上图中展现了整个HDFS三个重要角色:NameNode、DataNode和Client。NameNode可以看作是分布式文件系统中的管理者,主要负责管理文件系统的...
  • wuwenxiang91322
  • wuwenxiang91322
  • 2015年08月06日 22:21
  • 2826

关于微信小程序的基本知识

iamlaosong评: 2007年 1 月 9 日,史蒂夫·乔布斯发布第一代 iPhone。2017 年1 月 9 日,小程序正式上线。张小龙选择在十年后的今天发布小程序,其寓意不言自明。从来没有一...
  • iamlaosong
  • iamlaosong
  • 2017年01月10日 09:38
  • 776

linux 有用的一些小知识

1,自动补全 2,通配符 3,管道  过滤 4,重定向 5,环境变量修改 6,启动项查看,服务重启 7,系统和设备管理,查看串口,pci,usb设备 8,执行最近的命令 9,帮助 1...
  • liang890319
  • liang890319
  • 2012年12月02日 13:38
  • 1790

小程序应该如何入门,初学者应该掌握哪些基本知识?

从便于理解角度来说,可以把小程序看成类H5页面,提供了视图层描述语言,WXML 和 WXSS 以及基于JavaScript的逻辑层框架,并在视图层与逻辑层间提供了数据传输和事件系统,可以让开发者可以方...
  • chuangxin
  • chuangxin
  • 2017年12月19日 21:35
  • 160

关于 微信 小知识

关于微信的知识 1、朋友圈和查找附近的人插件能卸载吗? 朋友圈和查找附近的人可以在设置里卸载 2、查询微信好友数量的办法 通讯录下拉到 最底部,另一个是我 -> 设置->通用->功能->群发...
  • ralbatr
  • ralbatr
  • 2014年01月16日 09:38
  • 5035
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:hadoop小知识札记
举报原因:
原因补充:

(最多只允许输入30个字)