一、Hadoop 简介
Hadoop 是一个由 Apache 基金会所开发的分布式系统基础架构,它可以使用户在不了解分布式底层细节的情況下开发分布式程序,充分利用集群的威力进行高速运算和存储。
从其定义就可以发现,它解決了两大问题:大数据存储、大数据分析。也就是 Hadoop 的两大核心:HDFS 和 MapReduce。
-
HDFS(Hadoop Distributed File System)是可扩展、容错、高性能的分布式文件系统,异步复制,一次写入多次读取,主要负责存储。
-
MapReduce 为分布式计算框架,包含map(映射)和 reduce(归约)过程,负责在 HDFS 上进行计算
二、hadoop以及JDK的下载
JDK官方下载地址:https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html
我JDK云盘链接:https://pan.baidu.com/s/1QDYb2smSdPt_hSpDBTdr0g
提取码:u64i
hadoop官方链接:http://mirror.bit.edu.cn/apache/hadoop/common/ (这里有所有的hadoop版本)
我的百度云盘链接:https://pan.baidu.com/s/10T3YbaEmaPkcXi04idZtYw
提取码:4iv0
里面有一个详细的搭建视频,以及一个最新的版本,一个2.7版本的hadoop。由于个人后续学习原因,这里搭建的为2.7版本的hadoop