johnson_it-CSDN博客

原创 How Mapreduce Works

As shown in this figure, the user first call the runJob() method on the JobClient to create Joblient instance and then calls submitJob(). Then the jobclient would ask the jobtracker for a new JOb ID.

2011-12-18 20:46:50 269

原创 HDFS小结

HDFS is a filesystem designed for storing very large files with streaming data access pattern.Streaming data accessHDFS is built around the idea thta the most efficient data processing pattern

2011-12-18 14:10:26 438

转载 JAVA中的堆和栈

堆：顺序随意栈：先进后出堆和栈的区别一、预备知识—程序的内存分配一个由c/C++编译的程序占用的内存分为以下几个部分 1、栈区（stack）— 由编译器自动分配释放，存放函数的参数值，局部变量的值等。其操作方式类似于数据结构中的栈 2、堆区（heap） — 一般由程序员分配释放，若程序员不释放，程序结束时可能由OS回收。注意它与数据结构中的堆是两回事，分配方式

2011-11-10 08:28:47 267

转载 Hadoop for Archiving Email

Hadoop for Archiving Email 作者：Jon ZuanichThis post will explore a specific use case for Apache Hadoop, one that is not commonl

2011-10-14 20:03:20 508

原创 JAVA中的final

JAVA中的final的基本意思是这个东西不能更改，在对于数据，方法和类的时候，又有不同的意思。数据成员：如果是基本类型，则意味着这是一个数据常量，无法更改，如果给这个数据赋了一个编译时的初始值的话，那么意味着这个数据时编译时常量。如果赋了一个运行值的初始值的话

2011-10-04 15:34:53 218

原创 Hadoop学习笔记四--Hadoop中的流

虽然Hadoop是用JAVA编写的，但是hadoop同样支持其他的语言，通过一个叫Streaming的API，HADOOP可以接受其他语言编写的mapreduce程序。这个功能主要应用在一些小的需要快速编写并且更适用于脚本语言的时候，如python。 ha

2011-09-13 09:06:09 696

原创 Hadoop-学习笔记三---API的更新

当我们在配置好的环境中运行mapreduce程序时，会发现很多类已经deprecated，这是因为在0.20版本中，Hadoop中的API做了许多改动，主要的几个改动如下。许多类在新的API中被重写，现在的较为业界熟悉和稳定的API版本为0.18.3.

2011-09-08 15:07:51 433

原创 Hadoop学习笔记2--第一个Mapreduce程序

今天继续，学习第一个mapreduce的程序。程序的输入数据为此： "CITING","CITED" 3858241,9562033858241,13242343858241,33984063858241,35573843858241,

2011-09-08 14:42:14 343

原创 Hadoop学习笔记1--Hadoop基础

从今天开始重新从头学习Hadoop，并每章写读书笔记一篇，记于次。这篇笔记将主要概括mapreduce的基本原理和输入输出类。 1. Hadoop数据类型。在Mapreduce中，key必须为实现了WritableComp

2011-09-05 20:39:23 607

原创 Error configuring application listener of class org.springframework.web.context.ContextLoaderListener

Error configuring application listener of class org.springframework.web.context.ContextLoaderListener 这种错误很明显，没有加入相应的jar 包，但是加入之后发现仍然不行。 最后发现，加入新的jar包一定要重新再服务器上部署，不然没有用。

2011-04-22 19:18:00 347

原创转：某个异常

Struts2.0的异常收藏 异常信息：The Struts dispatcher cannot be found. This is usually caused by using Struts tags without the associated filter. Struts tags are only usable when the request has passed through its servlet filter, which ini

2011-04-20 17:18:00 198

原创 POJ1002 程序小结

import java.util.Iterator; import java.util.Map; import java.util.Scanner; import java.util.Set; import java.util.TreeMap; public class Problem1002 { public static void main(String[] args) {

2011-04-06 23:02:00 251

原创杂学：ADHOC

A wireless ad hoc network is a decentralized type of wireless network.[1] The network is ad hoc because it does not rely on a preexisting infrastructure, such as routers in wired networks or access points in managed (infrastructure) wir

2011-04-02 10:03:00 268

原创在HADOOP中 use 关系数据库

转自：http://www.cloudera.com/blog/2009/03/database-access-with-hadoop/ Hadoop’s strength is that it enables ad-hoc analysis of unstr

2011-04-02 09:34:00 786

原创 JAVA从头学-笔记四-接口

要掌握一门编程语言，当然是由易到繁到深的过程。首先需要知道的便是一个知识点的基本语法。今天看的是接口。 接口和内部类为我们提供了一种将接口和实现相分离的更加结构化的方法。 那从抽象类的基本要点开始。 1. 最先要讲的是抽象类，在类中有一个或者多个声明为abstract方法的类称为抽象类，这个方法仅有声明没有方法体。 2.由于抽象类是不完整的，所以抽象类是不能实例话的，不然会得到编译错误

2011-03-09 20:16:00 284

原创 JAVA从头学-笔记三-控制执行流程

1. break和continue的区别，break是退出此次循环，而continue是退出这次叠代，回头循环得头部，开始下一次叠代。 2.标签的使用，break + 标签是指退出标签所指得循环，而continue是退回到标签所指得那个循环。标签最好只用于嵌套循环中。因为标签如goto，使用得越多，程序经常从一个地方跳转到另一个地方，将程序流程得识别变得困难，使程序容易出错。

2011-02-27 13:20:00 276

原创 JAVA从头学-笔记二-操作符

1. =，对基本类型使用赋值时，是直接将一个地方的内容复制到另一个地方，而对对象使用赋值时，是将一个对象的引用复制到另一个地方。 例，对象 t1=t2 t1=100 这时候t2的值也将改变，因为他们指向同一个地方。（这可以称为别名问题） 当将一个对象作为参数传给一个方法时，传递的并不是这个对象的副本，而是这个对象的实际引用，所以方法中对参数的改动将会是对这

2011-02-27 00:10:00 257

原创 JAVA从头学-笔记一

1.JAVA中对象的存储和运行时内存的分配 a. 寄存器，最快，按需分配，无法控制它的分配 b. 堆栈，通过堆栈指针控制，向下分配，向上释放，JAVA系统必须知道栈内所有项的确切周期，灵活受到限制。主要存放对象的引用。 c. 堆，RAM，new的对象就放在堆中，不需要知道生命周期，但是在存储分配和清理方面比栈需要更多时间。所有的对象放在堆中 d. 常量存储常量值常是放在代码内部？什么叫代码内部，代码放

2011-02-26 20:53:00 604

johnson_it的专栏