![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop
文章平均质量分 89
siyuan_zhu
这个作者很懒,什么都没留下…
展开
-
Hadoop 新 MapReduce 框架 Yarn 详解 (转载)
http://www.ibm.com/developerworks/cn/opensource/os-cn-hadoop-yarn/原创 2014-02-10 15:46:41 · 92 阅读 · 0 评论 -
Hadoop MapReduce的特性
1.计数器计数器是一种收集作业统计的有效手段,用于质量控制或应用级统计。计数器还可以辅助诊断系统故障。相对于日志,它获取更方便,其次根据计数器值统计特定事件的发生次数要比分析一堆日志文件容易多了。1)内置计数器Hadoop为每个作业维护若干内置计数器,以描述该作业的各项指标。计数器由其关联任务维护,并定期传到TaskTracker,再由TaskTracker传给JobTra...原创 2014-04-03 13:38:45 · 498 阅读 · 0 评论 -
Hadoop MapReduce的类型和格式
1.MapReduce的类型Hadoop的MapReduce函数遵循如下常规格式:--map:(K1, V1) -> list(K2, V2)--combine:(K2, list(V2)) -> list(K2, V2)--partition:(K2, V2) -> integer--reduce:(K2, list(V2)) -> list(K3...原创 2014-04-01 21:07:25 · 217 阅读 · 0 评论 -
Hadoop MapReduce工作机制
1.MapReduce运行过程如下图所示,运行过程包含下述4个独立的实体--JobClient:提交MapReduce作业--JobTracker:协调作业的运行--TaskTracker:运行作业划分后的任务--分布式文件系统(一般为HDFS):用来在其他实体之间共享作业文件1)MapReduce作业的提交--向JobTracker请求一个新的作业ID。--检查作...原创 2014-03-31 16:35:13 · 130 阅读 · 0 评论 -
Hadoop MapReduce应用开发
1.开发流程1)编写map函数和reduce函数,最好使用单元测试来确保函数的运行符合预期2)写一个驱动程序来运行作业3)通过在一个小的数据集上运行这个驱动程序来进行测试2.配置API1)Configuration一个Configuration类的实例代表配置属性及其取值的一个集合。每个属性由一个String来命名,而值类型可以是多种。Configuration...原创 2014-03-30 19:46:06 · 111 阅读 · 0 评论 -
Hadoop IO
1.数据完整性检测数据的常用措施:在数据第一次引入系统时计算校验和,读取时再次计算校验和然后进行比较,常用的错误检测码是CRC-32。注:校验和也是可能损坏的,但是校验和比数据小得多,所以损坏的可能性很小。1)HDFS的数据完整性HDFS会对写入的所有数据计算校验和,并在读取数据时验证校验和。默认针对每512个字节的数据计算校验和。core-site.xml<pr...原创 2014-03-25 13:47:40 · 151 阅读 · 0 评论 -
Hadoop HDFS
1. Hadoop文件系统简介Hadoop有一个抽象的文件系统概念,由FileSystem接口定义,有以下具体实现:Local, HDFS, HFTP, HSFTP, HAR, hfs, FTP, S3(原生), S3(基于块)2. Hadoop文件系统基本操作Hadoop提供了命令行来操作文件系统。查看帮助文档hadoop fs -help通过URI前缀来区分不同...原创 2014-03-01 12:37:20 · 208 阅读 · 0 评论 -
Hadoop 第一个Hadoop程序
1. 旧版API-- 源代码MaxTemperatureMapper.javapackage com.hadoop.study.chap01;import java.io.IOException;import org.apache.hadoop.io.IntWritable;import org.apache.hadoop.io.LongWritable;i...原创 2014-03-01 12:35:02 · 105 阅读 · 0 评论 -
Hadoop 本地集成环境搭建
1. 相关软件VMwave6,RedHat5 32bit,JDK6,Hadoop1.22. 集成环境搭建步骤2.1 安装虚拟机安装过程出现错误:setup has detected vmware software running on this machine解决方式:打开TASK管理器,终止进程里VM相关的进程出处:http://zhidao.baidu....原创 2014-03-01 12:32:38 · 104 阅读 · 0 评论 -
Hadoop 管理
1.HDFS1)永久性数据结构--namenode存放地址hdfs-site.xml<property> <name>dfs.name.dir</name> <value>/home/hadoop/hdfs/name</value> <final>true</final>原创 2014-04-04 23:06:47 · 122 阅读 · 0 评论