大数据-HDFS
文章平均质量分 57
汪本成
这个作者很懒,什么都没留下…
展开
-
java操作hdfs实例,自己封装好的
package com.hkj.hadoop.testhdfs; import java.io.FileInputStream; import java.io.IOException; import java.io.InputStream; import java.net.URI; import java.net.URISyntaxException; import java.net.URL;原创 2016-06-13 22:26:39 · 1123 阅读 · 0 评论 -
HDFS中的关键概念(一)
简介 HDFS是作为hadoop的文件系统组件,是一个高度容错性的系统。HDFS能提供高吞吐量的数据访问,非常适合大规模数据集上的应用。HDFS放宽了一部分POSIX约束,来实现流式读取文件系统数据的目的。HDFS在最开始是作为Apache Nutch搜索引擎项目的基础架构而开发的。HDFS是Apache Hadoop Core项目的一部分。 数据块(block) HDFS中的文件被分割原创 2016-07-05 23:26:21 · 791 阅读 · 0 评论 -
Hadoop3.0的新特性
1. Hadoop3.0简介 Hadoop 2.0是基于JDK 1.7开发的,而JDK 1.7在2015年4月已停止更新,这直接迫使Hadoop社区基于JDK1.8重新发布一个新的Hadoop版本,而这正是hadoop 3.0。 Hadoop 3.0的alpha版预计今年夏天发布,GA版本11月或12月发布。 Hadoop 3.0中引入了一些重要的功能和优化,包括HDFS转载 2016-08-03 14:24:01 · 3185 阅读 · 0 评论 -
用CnetOs7编译hadoop2.7.2
首先配置好java的环境变量,这里必须要用1.7版本,不能用1.8,我这里用的是jdk1.7.0_79,配置好环境变量后成功如图所示 接着去官网分别下载maven和ant,配置好HOME和PATH,成功后如图所示 接着安装protobuf-2.5.0,将下载好的protobuf-2.5.0的压缩包解压,进入解压后的问价目录执行以下命令 cd protobuf-2.原创 2016-08-02 19:18:12 · 525 阅读 · 0 评论