笔记
空断
这个作者很懒,什么都没留下…
展开
-
Hadoop I/O操作
数据完整性HDFS数据完整性 用户希望储存和处理数据的时候,不会有任何损失或者损坏。由于每个DataNode操作磁盘或网络I/O操作可能会对正在读写的数据处理不慎而出现错误,hadoop提供了他的 数据检测方式:主要在于两个方面:一是校验和的方法实现;二是DataBlockScanner数据块检测程序;一:校验和 在系统启动时计算数据的校验和,在通道传输过程中,如果新生成原创 2017-07-20 23:25:39 · 642 阅读 · 1 评论 -
大数据概述
大数据概述 “大数据”是最近来的一个技术热点。历史上,数据库、数据仓库、数据集市等信息管理领域的技术,很大程度上也是为了解决大规模数据的问题。然而大数据作为一个专有名词成为热点。主要应归功于互联网、云计算、移动和物联网的迅猛发展。无所不在的移动设备、RFID、无线传感器每秒都在产生数据、数以亿计的用户的互联网服务时时刻刻在产生巨量的交互。要处理的数据量实在是太大、增长的太快了,而业务需求和竞争压原创 2017-07-17 20:27:46 · 869 阅读 · 1 评论 -
Hadoop
HadoopHadoop是什么 Apache Hadoop是一款支持数据密集型分布式应用程序并以Apache 2.0许可协议发布的开源软件框架。 —— [ 维基百科 ] Hadoop是根据谷歌公司发表的MapReduce和Google文件系统的论文自行实现而成。Hadoop框架透明地为应用提供可靠性和数据移动。它实现了名为MapReduce的编程范式:应用程序被分区成许多小部分,原创 2017-07-18 19:32:01 · 622 阅读 · 2 评论 -
map-reduce流程
转载:http://www.cnblogs.com/jamesf/p/4751537.html map-reduce的八个流程下面讲解这八个流程 Inputformat——》map——》(combine)——》partition——》copy&merge——》sort——》reduce——》outputformat FileSplit:文件的子集–文件分割体 简介: 这篇文档描述在ha转载 2017-07-23 10:58:10 · 368 阅读 · 0 评论 -
FileInputFormat详解
FileInputFormat 详解笔记转载 2017-07-23 09:32:47 · 9811 阅读 · 0 评论 -
hadoop (master/slave)主从结构
hadoop(master/slave)主从结构 相比于基于P2P模型的分布式文件系统架构,HDFS采用的是基于Master/Slave主从架构的分布式文件系统,一个HDFS集群包含一个单独的Master节点和多个Slave节点服务器,这里的一个单独的Master节点的含义是HDFS系统中只存在一个逻辑上的Master组件。一个逻辑的Master节点可以包括两台物理主机,即两台Master服务器、转载 2017-07-19 21:48:21 · 18008 阅读 · 1 评论