![](https://img-blog.csdnimg.cn/20201014180756780.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
文章平均质量分 78
johnson_it
这个作者很懒,什么都没留下…
展开
-
Hadoop学习笔记1--Hadoop基础
从今天开始重新从头学习Hadoop,并每章写读书笔记一篇,记于次。 这篇笔记将主要概括mapreduce的基本原理和输入输出类。 1. Hadoop数据类型。 在Mapreduce中,key必须为实现了WritableComp原创 2011-09-05 20:39:23 · 585 阅读 · 0 评论 -
Hadoop-学习笔记三---API的更新
当我们在配置好的环境中运行mapreduce程序时,会发现很多类已经deprecated,这是因为在0.20版本中,Hadoop中的API做了许多改动,主要的几个改动如下。许多类在新的API中被重写,现在的较为业界熟悉和稳定的API版本为0.18.3.原创 2011-09-08 15:07:51 · 429 阅读 · 0 评论 -
Hadoop学习笔记四--Hadoop中的流
虽然Hadoop是用JAVA编写的,但是hadoop同样支持其他的语言,通过一个叫Streaming的API,HADOOP可以接受其他语言编写的mapreduce程序。这个功能主要应用在一些小的需要快速编写并且更适用于脚本语言的时候,如python。 ha原创 2011-09-13 09:06:09 · 685 阅读 · 0 评论 -
Hadoop for Archiving Email
Hadoop for Archiving Email 作者:Jon Zuanich This post will explore a specific use case for Apache Hadoop, one that is not commonl转载 2011-10-14 20:03:20 · 492 阅读 · 0 评论 -
HDFS小结
HDFS is a filesystem designed for storing very large files with streaming data access pattern. Streaming data access HDFS is built around the idea thta the most efficient data processing pattern原创 2011-12-18 14:10:26 · 424 阅读 · 0 评论 -
How Mapreduce Works
As shown in this figure, the user first call the runJob() method on the JobClient to create Joblient instance and then calls submitJob(). Then the jobclient would ask the jobtracker for a new JOb ID.原创 2011-12-18 20:46:50 · 261 阅读 · 0 评论