2011年12月_qll125596718

12月 11月 10月

原创 hadoop学习笔记（3）初识Hadoop

前两节主要介绍了hadoop运行环境和开发环境的搭建，有了这个，我们就可以开始hadoop的学习了，最近买了两本hadoop的书，先是买了一本《hadoop权威指南》，看了几天，感觉大部分都是在讲理论，不太适合作为hadoop入门的书籍，所以又买了本国内刘鹏写的《实战hadoop》，这本书到是写的比较浅显易懂，尤其是操作性比较强，个人觉得比较适合作为hadoop的入门书籍。这里就记录一下我学习ha

2011-12-31 21:38:42 3173

原创 Java查漏系列（2）——java内存区域

前一节大致的介绍了一下JVM的体系结构，如下图：其中，Runtime DataArea（运行时数据区）是整个JVM的重点，平时，由于我们编写java程序很少关心内存的释放问题，这个都是JVM来自动管理的，不过，也正是因为Java程序员把内存控制的权力交给了JVM，一旦出现泄漏和溢出，如果不了解JVM是怎样使用内存的，那排查错误将会是一件非常困难的事情。这里就大致的介绍一下JVM的这

2011-12-30 19:07:41 2728

原创 Java查漏系列（1）——JVM

一年多的时间没搞过java了，最近在学习hadoop，所以想把java再捡一捡，以前主要关注java的语法和api等，很少关注底层内存等，所以现在找时间把这块捡捡。JVM，全称java virtual machine，也就是java虚拟机，望文生义的解释就是在计算机上面再虚拟出一个执行java程序的计算机。具体一点说，jvm可以被看成一个想象中的机器，在实际的计算机上通过软件模拟来实现，有自己

2011-12-29 23:10:10 1746 1

原创 hadoop学习笔记（2）伪分布模式配置

前面介绍了linux下hadoop的安装和简单配置，主要是独立模式的配置，所谓独立模式是指不需要运行任何守护进程（daemon），所有程序都再单个JVM上执行，由于在独立模式下测试和调试MapReduce程序较为方便，因此该模式适合用在开发阶段。这里主要记录了本人配置hadoop伪分布模式的过程。所谓伪分布模式是在单机上模拟Hadoop分布式，单机上的分布式并不是真正的分布式，而是使用java

2011-12-17 14:26:27 5794

原创 hadoop学习笔记（1）开发环境

刚开始学习hadoop，首先搭建了一下开发环境，最开始是在单独编写Map-Reduce程序，然后在命令行编译，再通过hadoop命令运行打好的jar包，虽然也能够运行，但是总感觉这样用起来很麻烦，所以今晚又尝试了直接通过eclipse来编辑和运行Map-Reduce程序，瞎弄了一下，居然让我弄成功了，自然走了点弯路，担心以后再走弯路，所以把自己的搭建过程记录于此。1.准备1.1 软件r

2011-12-14 23:44:21 4031