2010年11月_罗伯特北京

翻译精通HADOOP（十一） - MAPREDUCE任务的基础知识 - 总结

1.1 总结这章阐述了如何执行一个MapReduce作业。你现在对JobConf对象有一个基本的理解，以及了解如何使用它通知框架你的作业需要的元素。你已经看见如何去写mapper和reducer类，以及如何使用reporter对象，reporter对象能够提供足够的关于你的作业的运行时的信息。最后，输出块是非常重要的，通过它你可以知道什么时候和为什么你配置你的作业去reduce, 以及你需要使用多少个reducer。作为一个优秀的Hadoop专家，你看到在mapper和reducer类中打开的文件是空的或者

2010-11-30 02:06:00 5503

翻译精通HADOOP（十） - MAPREDUCE任务的基础知识 - 创建客户化的Mapper和Reducer

1.1 创建客户化的Mapper和Reducer 正如你所见，MapReduceIntro类中你的第一个Hadoop程序产生了排序的输出，但是，因为作业的关键字是数字的，这个排序不是你所期望的，因为它按照字符排序，而不是按照数字排序。现在，我们看看如何使用客户化的Mapper进行数字排序。然后我们会看看如何使用客户化的Reducer输出一个容易解析的格式的内容。 1.1.1 设置客户化的Mapper 进行数字排序听起来并不难。现在我们把输出的关键字设置为框架提供的另外一个LongWritable类型：

2010-11-30 02:02:00 13006

翻译精通HADOOP（九） - MAPREDUCE任务的基础知识 - 执行作业

1.1 执行作业配置你的MapReduce作业的最终目标是执行作业。MapReduceIntro.java样例程序阐述了一个简单的方式执行一个作业，如列表2-1所示， logger .info("Launching the job.");/** Send the job configuration to the framework* and request that the job be run.*/final RunningJob job = JobClient.runJob(conf);

2010-11-30 01:53:00 6905

翻译精通HADOOP（八） - MAPREDUCE任务的基础知识 - 配置作业

1.1 配置作业所有的Hadoop作业有一个用来配置实际上的MapReduce任务和提交它到Hadoop框架的主程序。JobConf对象是用来处理这些配置的。MapReduceIntro样例类为你使用JobConf类并且提交一个作业到Hadoop框架提供了一个模板。所有的代码都依赖于MapReduceIntroConfig类，如下列表2-4所示，这个类确保了你设置了正确的输入和输出目录。列表2-4 MapReduceIntroConfig.java package com.apress.ha

2010-11-30 01:45:00 9942 2

翻译精通HADOOP（七） - MAPREDUCE任务的基础知识 - Hadoop MapReduce任务的基本构成要素

1 MapReduce任务的基础知识这一章，整体的介绍MapReduce任务。读完这章，你能编写和执行单机模式的MapReduce任务程序。这章中的样例程序假设你已经完成了第一章的设置。你可以在一个专用的本地模式配置下，使用一台单机执行这些样例程序，你不需要启动Hadoop核心框架。对于调试和单元测试，单机模式配置也是最理想的。你能够从Apress网站(http://www.apress.com)上这本书所在的页面下载这些样例代码。这些可下载的代码也包含一个用来执行样例的JAR文件。下面我们就开

2010-11-30 01:28:00 9846

翻译精通HADOOP（六） - 初识Hadoop - 解决问题/总结

1.1 解决问题如果你在执行本书的样例程序过程中遇到问题，最有可能的就是因为执行环境的不同引起的，也可能由于你的计算机的存储空间不足导致问题。然后，下面的环境变量的设置是重要的： JAVA_HOME：这是JDK的安装根路径。所有的样例程序假设JAVA_HOME环境变量指向JDK 1.6_07的安装根路径。这里假设JDK安装在/usr/java/jdk1.6.0_07。所以，我们应该设置JAVA_HOME如下：export JAVA_HOME=/usr/java/jdk1.6.0_07。 DADOOP_HO

2010-11-14 14:14:00 7604

翻译精通HADOOP（五） - 初识Hadoop - 执行和测试Hadoop样例程序

1.1 执行和测试Hadoop样例程序在Hadoop安装目录中你会找到包含Hadoop样例程序的JAR文件，你可以用它来试用Hadoop。在你执行这些样例程序以前，你应该保证你的安装是完全的和你的执行时环境的设置是正确的。我们在前面小节中提到，check_basic_env.sh脚本能够帮助你校验安装，如果安装有任何错误，它会提示你改正。 1.1.1 Hadoop的样例代码 hadoop-0.19.0-examples.jar文件包含着数个可以直接运行的样例程序。我们在图标1-4中列出包

2010-11-14 13:49:00 13849

翻译精通HADOOP（四） - 初识Hadoop - 安装Hadoop

1.1 安装Hadoop 和其他的软件一样，使用Hadoop需要一些先决条件。如果你安装了Cywin，在Windows上执行和开发Hadoop应用程序也是可能。但是，我们强烈建议你使用Linux作为运行Hadoop的产品平台。请注意，你需要有Linux和Java的基础知识才能使用Hadoop。我们使用Bash脚本来启动这本书的样例程序。 1.1.1 安装的前提条件我们需要在下列的环境下运行这本书的样例程序， l Fedora 8 l Sun Java 6 l Hadoop 0.19.0 o

2010-11-13 21:05:00 11784 1

翻译精通HADOOP（三） - 初识Hadoop - Hadoop介绍

1.1 Hadoop介绍 Hadoop是阿帕奇软件基金下的顶级项目，这个项目下面拥有多个诞生于阿帕奇孵化器的子项目。Hadoop项目提供和支持开源软件的发展，它提供一个框架，用于开发高度可扩展的分布式计算应用软件。Hadoop框架负责处理任务并行分配的细节，使得应用程序开发者可以专注于应用程序逻辑上。请注意，Hadoop徽标是一个胖胖的黄色的大象。而且Hadoop碰巧是首席架构师的宝宝的黄色大象的名字。 Hadoop项目主页（http://hadoop.apache.org/)谈到: Had

2010-11-11 21:04:00 16647 2

翻译精通HADOOP（二） - 初识Hadoop - MapReduce模型介绍

1 初识Hadoop 一个独立的低端硬件通常不能满足应用程序对资源的需求。许多企业发现他们的业务流软件并不是安装在一台成本效益较好的计算机上。对于他们来说，一个简单的解决方案就是购买具有更多内存和CPU的高端硬件，这通常需要巨额资金。这个解决方案能够达到理想的效果只要你能买到最高端的硬件，但是通常来说，预算是最主要的问题。我们有另外一个可选方案，那就是构建一个高性能的集群。一个集群能够模拟成为一个单个计算机，然而，它需要专业的安装和管理服务。现今，存在着许多专有的高性能的并且造价昂贵的集群。幸运的是，

2010-11-10 22:01:00 15773

翻译精通HADOOP（一） - 翻译前言

云计算是一个越来越流行的分布式计算技术，Hadoop是云计算的开发平台(PAAS)，于是，我已经学习有一段时间了，先后看了如下两本相关书籍，Hadoop: The Definitive Guide Apress Pro Hadoop在网络上搜索了一下，前者已经有出版社翻译成中文版，但是，后者却没有，于是，萌生一个念头，把第二本书翻译成中文，希望能对大家有所帮助。这本书大约有400多页，计划每天翻译5页，需要80天，排除很多天不能抽出时间进行翻译，保守估计需要半年时间，希望大家关注，也感谢大家的支持。

2010-11-10 21:59:00 14055 14

原创深入剖析Spring Web源码（二十） - Spring安全 - 横向剖析

6. Spring安全Spring安全是一个功能强大的高可插拔的认证和赋权框架。它是Spring应用程序的领域内的标准的安全策略。Spring安全是最成熟的并且被广泛应用的Spring项目之一。自从2003年创建以来，它是一个独立于Spring框架的一个单独项目，这个项目同样是通过阿帕奇2.0协议发布，所以，它可以应用到任何项目，这包括开源项目，免费项目和商业项目。这一章，我们将深入的彻底剖析Spring安全框架的流程和架构。 6.1 横向剖析Spring安全框架主要应用在需要认证与赋权的Web应用程序上。

2010-11-07 15:33:00 6303

云时代架构