2013年12月_dpc27149

转载 Eclipse 各个版本命名

Eclipse自3.1开始使用木星的卫星作为版本名，例如：木卫一：伊奥 lo木卫二：欧罗巴 Europa木卫三：伽倪墨得斯 Ganymede木卫四：卡利斯托 Callisto.... Eclipse 3.1 版本代号 IO 【木卫1，伊奥】 Eclipse 3.2 版本代号 Callisto 【木卫四，卡里斯托】Eclipse 3.3 版本代号 Eruopa

2013-12-17 20:28:32 2087

转载 Hadoop基础概念1

名称节点（ NameNode）：管理文件系统的命名空间，记录文件系统树及这个树内所有的文件和索引目录，同时也记录每个文件的每个块，所在的数据节点。数据节点（ DataNode ）：文件系统的工作者，存储并提供定位块的服务，并定时向名称节点发送块的存储列表JobTracker：协调作业的运行。TaskTracker：运行作业划分后的任务。 NameNode记录着每个文件的元

2013-12-15 00:26:29 830

转载 Hadoop实战-初级部分之 Hadoop集群的安装

第一部分：Word Count 程序讲解 •编写一个MapReduce 程序的步骤 –编写一个Mapper类 –编写一个Reducer类 –编写一个Driver类（即Job），来将Mapper与Reducer类来进行组合。 java代码：查看复制到剪贴板打印Mapper publi

2013-12-15 00:06:16 1607

转载 Hadoop实战-初级部分之 MapReduce 开发2

第一部分：Word Count 程序讲解 •编写一个MapReduce 程序的步骤 –编写一个Mapper类 –编写一个Reducer类 –编写一个Driver类（即Job），来将Mapper与Reducer类来进行组合。 java代码：查看复制到剪贴板打印Mapper publi

2013-12-15 00:00:44 890

转载 Hadoop实战-初级部分之 MapReduce 开发1

第一部分：什么是 MapReduce Hadoop Map/Reduce是一个使用简易的软件框架，基于它写出来的应用程序能够运行在由上千个商用机器组成的大型集群上，并以一种可靠容错的方式并行处理上T级别的数据集。 MapReduce基础出发点是很易懂。它由称为map和reduce的两部分用户程序组成，然后利用框架在计算机

2013-12-14 23:59:25 901

转载 Hadoop实战-初级部分之 Hadoop 分布式文件系统3

第一部分：数据完整性数据完整性及其采用的技术保证数据在传输过程中不损坏，常见的保证数据完整性采用的技术 A.奇偶校验技术 B.ECC校验纠错技术 C.CRC-32循环冗余校验技术 HDFS以透明方式校验所有写入它的数据，并在默认设置下，会在读取数据时验证校验和。针对数据的每个io.bytes.per.checksum(默认512字节

2013-12-14 23:57:48 941

转载 Hadoop实战-初级部分之 Hadoop 分布式文件系统2

第一部分：搭建HDFS开发环境 •导入Hadoop的Jar •建立resources文件夹，放入配置文件第二部分：Configuration •添加配置文件 •获取配置文件属性第三部分：FileSystem API 详解 FileSystem：该类为 HDFS文件系统的抽象类，通过它可以在 Java端操作 HDFS。

2013-12-14 23:56:07 814

转载 Hadoop实战-初级部分之 Hadoop 分布式文件系统1

第一部分：什么是HDFS Hadoop Distributed File System，简称HDFS，是一个分布式文件系统。 HDFS是高容错性的，可以部署在低成本的硬件之上，HDFS提供高吞吐量地对应用程序数据访问，它适合大数据集的应用程序。第二部分：HDFS架构设计 HDFS 设计目标 HDFS不适合做什么

2013-12-14 23:48:51 822

转载 Hadoop实战-初级部分之 Hadoop Shell 基本操作介绍

第一部分：Hadoop Bin 后面根据项目的实际需要Hadoop Bin 包括: Hadoop hadoop的Shell hadoop-config.sh 它的作用是对一些变量进行赋值 HADOOP_HOME（hadoop的安装目录）。 HADOOP_CONF_DIR（hadoop的配置文件目录）。HADOOP_SLAVES（--hosts指定

2013-12-14 23:47:21 857

转载 Hadoop实战-初级部分之 Hadoop安装部署

Hadoop实战-初级部分之 Hadoop安装部署第一部分：开始云计算之旅第二部分：初识Hadoop第三部分：Hadoop 环境安装部署第四部分：Hadoop Shell 基本操作介绍第五部分：Hadoop 分布式文件系统1第五部分：Hadoop 分布式文件系统2第五部分：Hadoop 分布式文件系

2013-12-14 23:42:47 1030

转载 Windows下Cygwin环境的Hadoop安装（3）- 运行hadoop中的wordcount实例遇到的问题和解决方法

转自：http://blog.csdn.net/liu_jason/article/details/7707458 谢谢原作者！在前面的步骤中，我们已经建立了hadoop环境，下面该运行一个实例了，就拿hadoop自带的wordcount练手吧。- 建立本地数据文件在我们准备的hadoop本地文件夹data下建立一个data_in文件夹，并在此文件夹下创建两个数据文件，

2013-12-14 22:26:05 2609

转载 Hadoop集群（第6期）_WordCount运行详解【转载】

1、MapReduce理论简介1.1 MapReduce编程模型　　MapReduce采用"分而治之"的思想，把对大规模数据集的操作，分发给一个主节点管理下的各个分节点共同完成，然后通过整合各个节点的中间结果，得到最终结果。简单地说，MapReduce就是"任务的分解与结果的汇总"。　　在Hadoop中，用于执行MapReduce任务的机器角色有两个：一个是JobTracker；另一个

2013-12-13 16:00:52 1053

转载 hadoop配置文件详解、安装及相关操作 .

一、 Hadoop伪分布配置 1. 在conf/hadoop-env.sh文件中增加：export JAVA_HOME=/home/Java/jdk1.6 2. 在conf/core-site.xml文件中增加如下内容： fs.default.name -这是一个描述集群中NameNode结点的URI(包括协

2013-12-11 18:43:11 661

DPC27149的专栏