![](https://img-blog.csdnimg.cn/20201014180756780.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop
Kaycsdner
Nothing is impossible for a willing heart!!!
展开
-
Hadoop学习:Combiner
转载至点击打开链接在本节中,我们着重学习MapReduce编程模型中的Combiner组件。 每一个map都可能会产生大量的本地输出,Combiner的作用就是对map端的输出先做一次合并,以减少在map和reduce节点之间的数据传输量,以提高网络IO性能,是MapReduce的一种优化手段之一。 1)、Combiner最基本是实现本地key的聚合,对转载 2016-03-28 12:07:18 · 817 阅读 · 0 评论 -
2、初识HDFS
一、HDFS设计基础与目标:1、 数据冗余2、 流式数据访问,即数据批量读取而非随机读取,hadoop擅长做的是数据分析而不是事务处理3、 大规模数据集4、 简单一致模型;为了降低系统的复杂度,对文件采用一次性写多次读的逻辑设计,即是文件一经写入,关闭,就再也不能修改程序采用“数据就近”原则分配节点执行二、HDFS设计原则:1、文件以block的方式存储2、每个bl原创 2015-11-21 14:27:40 · 517 阅读 · 0 评论 -
3、MapReduce机制
MapReduce是Hadoop重要组成部分,主要包含map、shuffle和reduce过程。1) 在集群中任意主机运行job程序;2) 向jobtracker申请jobID3) 通过HDFS散发文件,拷贝4) 提交作业5) Jobtracker初始化工作6) Jobtracker向HDFS中的namenode询问文件信息7) Tasktrack原创 2015-11-21 14:52:33 · 438 阅读 · 0 评论 -
4、第一 个mapReduce程序
第一步,map,TokenizerMapper:package com.Kevin.hadoop;import java.io.IOException;import java.util.StringTokenizer;import org.apache.hadoop.io.IntWritable;import org.apache.hadoop.io.Text;import原创 2015-11-23 22:10:33 · 418 阅读 · 0 评论 -
5、HDFS文件系统API
1、将文件复制到HDFSpackage com.kevin.hadoop;import java.io.BufferedInputStream;import java.io.FileInputStream;import java.io.InputStream;import java.io.OutputStream;import java.net.URI;import org.a原创 2015-12-04 16:38:50 · 661 阅读 · 0 评论 -
6、序列化
1)为何序列化在面向对象程序设计中,对象是一个个重要并复杂的概念。一般而言,对象值存在于内存当中,当整个程序运行结束时,对象也就“消亡”了。所以一般来说,“活”对象只能在本地使用,不能跨计算机使用。但是为了计算机之间相互使用对象,便有了序列化的概念。所谓序列化,就是可以存储“活的”对象,将“活的”对象发送给远程计算机使用。序列化,就是将对象转换成字节流;反序列化,就是将字节流解析称对象。所以,原创 2015-12-06 21:48:45 · 474 阅读 · 0 评论 -
7、压缩与解压缩
在hadoop中有两个地方需要用到压缩:其一是在HDFS上存储数据,节省存储空间;其二是集群间的通讯需要数据压缩,提高带宽的利用率。在java中一切输入输出都是以流的方式进行。一个可以读取字节序列的对象叫输入流,一个可以写入字节序列的对象叫输出流,如文件,网络连接、内存等都可以是输入和输出流。1、从文件到文件的压缩package com.kevin.hadoop;import java原创 2016-03-01 21:55:34 · 411 阅读 · 0 评论 -
8、Hadoop分布式文件系统
从今天开始学习《Hadoop权威指南》,希望学有所获。。。。1、HDFS的设计Hadoop的分布式文件系统被称为HDFS(Hadoop Distributed File System),是以流式数据访问模式存储超大文件而设计的文件系统,在商用硬件的集群上运行。其中,流式数据访问:HDFS是建立在一次写入,多次读取模式是最高效的思想基础上的。商用硬件是Hadoop不需要运行在昂贵、可靠的硬件原创 2016-03-05 15:05:22 · 663 阅读 · 0 评论 -
9、Hadoop的I/O
1、数据完整性Hadoop的用户当然希望数据在磁盘I/O或网络传输时不发生丢失或损坏。但是通过的数据流量非常大,数据发生损坏的几率还是很大的。HDFS的数据完整性:HDFS以透明方式校验所有写入它的数据,并在默认设置下,会在读取数据时验证校验和。数据节点负责在存储数据及其校验和前验证它们收到的数据。客户端读取数据节点上的数据时,会验证校验和,将其与数据节点上的校验和对比。Hadoop本原创 2016-03-06 20:50:25 · 1048 阅读 · 0 评论 -
10、MapReduce的工作原理
1、运行MapReduce作业JobClient的runJob()方法是用于新建JobClient实例和调用其submitJob()方法的简便方法(步骤1),submitJob()方法实现的作业提交过程如下:1)向jotracker请求一个新的作业ID(通过JobTracker的getNewJodId())(步骤2)。2)检查作业的输出说明。比如如果没有制定输出目录或者已经存在原创 2016-03-29 15:39:55 · 617 阅读 · 0 评论 -
1、Hadoop2.6.0 和 Hadoop1.2.1伪分布环境搭建
搭建环境:vmware+ubuntu10.041、安装java下载地址:下载这个网上有许多教程,要注意的就是在/etc/profile中记得添加环境变量JAVA_HOME,JER_HOME,CLASSPATH和PATH2、安装eclipse下载地址:eclipse下载在/etc/profile中PATH添加启动路径,就可以在任意目录启动了3、修改主机名、SSH、ha原创 2015-10-25 11:04:33 · 538 阅读 · 0 评论