HDFS分布文件系统
Hadoop分布式文件系统(HDFS)被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统。HDFS是一个高度容错性的系统,适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问,非常适合大规模数据集上的应用。HDFS放宽了一部分POSIX约束,来实现流式读取文件系统数据的目的。HDFS在最开始是作为Apache Nutch搜索引擎项目的基础架构而开发的。HDFS是Apache Hadoop Core项目的一部分。
HDFS分布文件系统的特点:hdfs快照、hdfs数据组织、hdfs阶段状态、hdfs流水式复制
实验 安装配置JDK+Eclipse+Maven,搭建HDFS,运行Java程序
软件程序 JDK Eclipse Maven
实验步骤
一、安装配置JDK+Eclipse+Maven
1.安装配置JDK
运行jdk-8u201-windows-x64.exe安装包,配置JDK的环境变量,Path添加JDK的\bin的安装路径,cmd命令行运行javac,查看是否成功安装配置。
系统变量→新建 JAVA_HOME 变量 。变量值填写jdk的安装目录,例: E:\Java\jdk1.7.0
系统变量→ Path 变量→编辑在变量值: %JAVA_HOME%\bin;
2.安装Eclipse
运行eclipse-inst-win64安装包,选择Eclipse IDE for Java Developers,开始安装。过程可能较慢。
3.安装Maven
解压Maven压缩包apache-mave