大数据
Xx守护天使xX
在防守中寻求突破 在平淡中寻找爱情
展开
-
HDFS架构
NameNode管理节点NameNode是整个文件系统的管理节点。它维护着整个文件系统的文件目录树,文件/目录的元信息和每个文件对应的数据块列表。接收用户的操作请求。 文件结构: fsimage:元数据镜像文件。存储某一时段NameNode内存元数据信息。 edits:操作日志文件。 fstime:保存最近一次checkpoint的时间 Namenode始终在内存中保存metedata原创 2015-03-04 16:57:21 · 318 阅读 · 0 评论 -
MapReduce:超大机群上的简单数据处理
摘要 MapReduce是一个编程模型,和处理,产生大数据集的相关实现.用户指定一个map函数处理一个key/value对,从而产生中间的key/value对集.然后再指定一个reduce函数合并所有的具有相同中间key的中间value.下面将列举许多可以用这个模型来表示的现实世界的工作. 以这种方式写的程序能自动的在大规模的普通机器上实现并行化.这个运行时系统关心这些细节:分割输入数转载 2015-03-06 11:32:08 · 551 阅读 · 0 评论 -
Google文件系统
GFS这三个字母无需过多修饰,《Google File System》的论文也早有译版。但是这不妨碍我们加点批注、重温经典,并结合上篇Haystack的文章,将GFS、TFS、Haystack进行一次全方位的对比,一窥各巨头的架构师们是如何权衡利弊、各取所需。1. 介绍 我们设计和实现了GFS来满足Google与日俱增的数据处理需求。与传统的分布式文件系统一样,GFS着眼在几个重要的目标,比如性转载 2015-03-06 11:47:58 · 2465 阅读 · 0 评论 -
Google's BigTable
题记:google 的成功除了一个个出色的创意外,还因为有 Jeff Dean 这样的软件架构天才。官方的 Google Reader blog 中有对BigTable 的解释。这是Google 内部开发的一个用来处理大数据量的系统。这种系统适合处理半结构化的数据比如 RSS 数据源。 以下发言 是 Andrew Hitchcock 在 2005 年10月18号 基于: Google 的工程师转载 2015-03-06 11:48:53 · 391 阅读 · 0 评论 -
Hadoop技术操作记录
Hadoop技术操作记录解决windows8.1[MSI文件不能安装问题]run.zip 请运行该文件。: 安装Centos注意事项: 其他的自行安装即可以上是我自己安装过程中的注意事项,下面开始进入Linux准备过程一、准备Linux环境1修改点击VMware快捷方式,右键打开文件所在位置->双击vmnetcfg.exe->VMnet1host-only->修改subnetip设置网段:1原创 2015-03-04 16:51:50 · 467 阅读 · 0 评论