hadoop基础
雪峰庙
努力奋斗
展开
-
hadoop基础:Java中的Hash值介绍
我们在学习hadoop过程中,经常遇到hashcode,那么hash到底是什么? 我们可以把它理解一个数字,如果到了这里,其实已经差不多了。那么下面如果想详细了解,可以往下面看: hashcode实例 /** * Returns a hash code for this string. The hash code for a * String ob转载 2014-05-02 09:09:28 · 747 阅读 · 0 评论 -
hadoop jar 原理讨论
什么是map本地? reducer的输入是来自什么地方? map数据是否被复制随map函数等下发到客户? 次讨论由about云小组发起:主要贡献者为Karmic Koala与立立,由我来整理分享给大家: 你觉得hadoop jar的执行除了分发代码,整个过程是什么样子的。 Karmic Koala: 客户端把jar送给JT,JT将jar放入HDFS,这样所有转载 2014-05-03 09:29:53 · 698 阅读 · 0 评论 -
Java零基础,学习hadoop:为什么要编译Java源代码,编译后会有什么效果
我们知道在64位机器上需要编译源码,可是为什么要编译源码,编译源码后,会有什么效果。 1.为什么需要编译Java文件? 你写出来的都是*.JAVA文件,JVM能执行的都是*.CLASS文件,所以需要编译 2.为什么要编译hadoop文件? 只有编译后的hadoop,才能被就jvm执行,才能被安装 3.hadoop是Java文件,Java文件不是一处编译,处处运行的吗?为什么转载 2014-05-07 09:04:42 · 1593 阅读 · 0 评论 -
煮酒论数据——谈分布式测试体系构建
自谷歌提出云计算概念之后,大数据领域的发展就逐渐加速日新月异,云计算具体到实例,可以归纳为调度、均衡、容错、监控、运维等一整套操作海量数据的方案。有别于传统小规模或孤立体系产品,云计算生态圈存在错综复杂的系统级别关联,并行其中的不同架构和模块流转于超大规模的分布式软硬体资源中,很难划分出明显的界限。对于这样的产品体系,传统领域的测试方案要么逐渐失效,要么作用域缩减到仅能覆盖体系末端。为了保证大数据转载 2014-06-29 11:30:02 · 838 阅读 · 0 评论 -
HDFS追本溯源:租约,读写过程的容错处理及NN的主要数据结构
1. Lease 的机制: hdfs支持write-once-read-many,也就是说不支持并行写,那么对读写的互斥同步就是靠Lease实现的。Lease说白了就是一个有时间约束的锁。客户端写文件时需要先申请一个Lease,对应到namenode中的LeaseManager,客户端的client name就作为一个lease的holder,即租约持有者。LeaseManag转载 2016-03-11 10:34:11 · 1117 阅读 · 0 评论