- 博客(12)
- 资源 (9)
- 收藏
- 关注
RSS订阅转载 MapReduce数据流（二）
输入块（InputSplit）：一个输入块描述了构成MapReduce程序中单个map任务的一个单元。 把一个MapReduce程序应用到一个数据集上，即是指一个作业，会由几个（也可能几百个）任务组成。把一个MapReduce程序应用到一个数据集上，即是指一个作业，会由几个（也可能几百个）任务组成。 Map任务可能会读取整个文件，但一般是读取文件的一部分。 Map任务可能会读取整个文件，但一般
2012-12-24 00:24:19
390
转载 MapReduce变量传递设置及分布式缓存DistributedCache
上节中我们提高在MapReduce中使用自定义的数据输入类，并且自己也实现了一个对应类叫MyTextInputFormat，重写了LineRecordReader类，并在MapReduce中成功使用。、 下面我讲介绍一些MapReduce程序中相关设置。 1. 如何从主函数中传递全局变量到各个节点的mapreduce操作中使用，在新就mapreduce的api中相关设置略
2012-12-23 23:57:33
988
转载 hadoop实例WordCount程序一步一步运行
虽说现在用Eclipse下开发hadoop程序很方便了，但是命令行方式对于小程序开发验证很方便。这是初学hadoop时的笔记，记录下来以备查。 1. 经典的WordCound程序（WordCount.java），可参见 hadoop0.18文档 import java.io.IOException; import java.util.ArrayList; import java
2012-12-14 10:47:59
590
转载 When to use virtual destructor?
When the inherited class need to call the function in the base class, and the function is virtual, then a virtual destructor is needed. In most cases, when there are virtual function in the base class
2012-12-03 11:48:28
643
转载 Java多线程同步如何从JVM的角度体会
我们在使用Java多线程同步的时候需要了解很多的知识，其中Java多线程同步机制实际上是靠锁的概念来控制的。这个问题就需要我们引起注意，那么在Java程序当中，锁是如何体现的呢？ 让我们从JVM的角度来看看锁这个概念： 在Java程序运行时环境中，JVM需要对两类线程共享的数据进行协调： 1）保存在堆中的实例变量 2）保存在方法区中的类变量 这两类数据是被所有线程共享
2012-12-03 10:26:17
552
转载 JAVA 抽象类 接口区别
abstract class和interface是Java语言中对于抽象类定义进行支持的两种机制，正是由于这两种机制的存在，才赋予了Java强大的面向对象能力。 abstract class和interface之间在对于抽象类定义的支持方面具有很大的相似性，甚至可以相互替换，因此很多开发者在进行抽象类定义时对于 abstract class和interface的选择显得比较随意。 其实，两者
2012-12-03 01:39:37
350
转载 抽象类 抽象函数
抽象类是指不允许被实例化的类；抽象方法是没有方法体的方法。 1、抽象类可以不包括抽象方法，它反正不会去实例化，里面的方法是不是抽象的没有本质影响。 2、但是含有抽象方法的类绝不能被实例化，否则执行这个方法的时候，怎么办？ 3、如果子类是非抽象的，那么它就必须实现父类中的抽象方法；否则，它继承来的抽象方法仍然没有方法体，也是个抽象方法，此时就与“含有抽象方法的类必须是抽象类”相矛盾了。 比如说，
2012-12-03 01:35:49
432
转载 JAVA 内存泄漏
这里向大家描述一下JVM内存泄露的概念和检测方法，Java的一个重要优点就是通过垃圾收集器(GarbageCollection，GC)自动管理内存的回收，程序员不需要通过调用函数来释放内存。因此，很多程序员认为Java不存在JVM内存泄漏问题，或者认为即使有JVM内存泄漏也不是程序的责任，而是GC或JVM的问题。其实，这种想法是不正确的，因为Java也存在内存泄露，但它的表现与C++不同。
2012-12-03 01:32:54
415
转载 Linux：Ldd命令介绍及使用方法
1、首先ldd不是一个可执行程序，而只是一个shell脚本 2、ldd能够显示可执行模块的dependency，其原理是通过设置一系列的环境变量，如下：LD_TRACE_LOADED_OBJECTS、LD_WARN、LD_BIND_NOW、LD_LIBRARY_VERSION、LD_VERBOSE等。当LD_TRACE_LOADED_OBJECTS环境变量不为空时，任何可执行程序在运行时
2012-12-03 01:19:44
528
转载 JAVA 内存回收机制
Java的堆是一个运行时数据区，类的实例(对象)从中分配空间。Java虚拟机(JVM)的堆中储存着正在运行的应用程序所建立的所有对象，这些对象通过new、newarray、anewarray和multianewarray等指令建立，但是它们不需要程序代码来显式地释放。一般来说，堆的是由垃圾回收 来负责的，尽管JVM规范并不要求特殊的垃圾回收技术，甚至根本就不需要垃圾回收，但是由于内存的有限性，JV
2012-12-03 00:56:54
380
转载 智能指针
当类中有指针成员时，一般有两种方式来管理指针成员：一是采用值型的方式管理，每个类对象都保留一份指针指向的对象的拷贝；另一种更优雅的方式是使用智能指针，从而实现指针指向的对象的共享。 智能指针(smart pointer)的一种通用实现技术是使用引用计数(reference count)。智能指针类将一个计数器与类指向的对象相关联，引用计数跟踪该类有多少个对象共享同一指针。
2012-12-03 00:42:53
392
转载 SQL Server中索引的概念，原理以及其他
在SQL Server中，索引是一种增强式的存在，这意味着，即使没有索引，SQL Server仍然可以实现应有的功能。但索引可以在大多数情况下大大提升查询性能，在OLAP中尤其明显.要完全理解索引的概念，需要了解大量原理性的知识，包括B树，堆，数据库页，区，填充因子，碎片,文件组等等一系列相关知识，这些知识写一本小书也不为过。所以本文并不会深入讨论这些主题。 索引是什么
2012-12-03 00:41:03
526
Modelsim6.5 license
2010-04-08
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人