hadoop
文章平均质量分 96
agent_x
这个作者很懒,什么都没留下…
展开
-
Hadoop核心之HDFS 架构设计
来自:http://blog.csdn.net/suifeng3051/article/details/48548341 概述:HDFS即Hadoop Distributed File System分布式文件系统,它的设计目标是把超大数据集存储到分布在网络中的多台普通商用计算机上,并且能够提供高可靠性和高吞吐量的服务。分布式文件系统要比普通磁盘文件系统复杂,因为它要引入网络编程,分布式文件系统要容转载 2017-11-29 11:15:29 · 317 阅读 · 0 评论 -
Windows源码编译Hadoop 2.8.0
相关依赖1.JDK 1.7+ 2.maven 3.0+ 3.findbugs 4.zlib headers 1.2.7+ (如果要编译得到native code) 5.cmake 2.6+ 6.protocbuffer 2.5.0 7.windows SDK or Visual Studio 2010 SP1(如果是vs2010,最好升级为sp1,否则那个cvtres.exe会疯掉)原创 2017-08-01 22:52:50 · 3782 阅读 · 1 评论 -
windows Hadoop开发环境搭建及远程提交
这篇文章将介绍如何搭建hadoop的开发环境,并且详细描述如何通过intellij idea开发hadoop的map-reduce程序以及远程提交。 前提:安装hadoop,下载winutils,并解压放在$Hadoop_HOME/bin目录下方法一:maven项目1、intellij idea创建maven项目这里就不多说了,先创建一个maven项目。 2、配置pom.xml文件,补全pom.原创 2017-11-29 13:35:23 · 3956 阅读 · 0 评论