空断-CSDN博客

转载 hadoop （master/slave）主从结构

hadoop(master/slave)主从结构相比于基于P2P模型的分布式文件系统架构，HDFS采用的是基于Master/Slave主从架构的分布式文件系统，一个HDFS集群包含一个单独的Master节点和多个Slave节点服务器，这里的一个单独的Master节点的含义是HDFS系统中只存在一个逻辑上的Master组件。一个逻辑的Master节点可以包括两台物理主机，即两台Master服务器、

2017-07-19 21:48:21 17859 1

转载 map-reduce流程

转载：http://www.cnblogs.com/jamesf/p/4751537.html map-reduce的八个流程下面讲解这八个流程 Inputformat——》map——》（combine）——》partition——》copy&merge——》sort——》reduce——》outputformat FileSplit:文件的子集–文件分割体简介：这篇文档描述在ha

2017-07-23 10:58:10 350

转载 FileInputFormat详解

FileInputFormat 详解笔记

2017-07-23 09:32:47 9741

原创 Hadoop I/O操作

数据完整性HDFS数据完整性用户希望储存和处理数据的时候，不会有任何损失或者损坏。由于每个DataNode操作磁盘或网络I/O操作可能会对正在读写的数据处理不慎而出现错误，hadoop提供了他的数据检测方式：主要在于两个方面：一是校验和的方法实现；二是DataBlockScanner数据块检测程序；一：校验和在系统启动时计算数据的校验和，在通道传输过程中，如果新生成

2017-07-20 23:25:39 596 1

原创用Java代码实现hadoop命令

一. 获取文件系统实例通过FileSystem的get()或newInstance()方法获取文件系统的实例。get()和newInstance()方法分别有3个重载方法：//返回默认文件系统，core-site.xml中指定的，如果没有指定，则默认本地文件系统public static FileSystem get(Configuration conf) throws IOException

2017-07-20 22:19:31 2246 1

原创 Hadoop

HadoopHadoop是什么 Apache Hadoop是一款支持数据密集型分布式应用程序并以Apache 2.0许可协议发布的开源软件框架。 —— [ 维基百科 ] Hadoop是根据谷歌公司发表的MapReduce和Google文件系统的论文自行实现而成。Hadoop框架透明地为应用提供可靠性和数据移动。它实现了名为MapReduce的编程范式：应用程序被分区成许多小部分，

2017-07-18 19:32:01 583 2

原创大数据概述

大数据概述 “大数据”是最近来的一个技术热点。历史上，数据库、数据仓库、数据集市等信息管理领域的技术，很大程度上也是为了解决大规模数据的问题。然而大数据作为一个专有名词成为热点。主要应归功于互联网、云计算、移动和物联网的迅猛发展。无所不在的移动设备、RFID、无线传感器每秒都在产生数据、数以亿计的用户的互联网服务时时刻刻在产生巨量的交互。要处理的数据量实在是太大、增长的太快了，而业务需求和竞争压

2017-07-17 20:27:46 829 1

空断的博客