Hadoop入门基础配置——jdk和Hadoop

Hadoop入门基础配置——jdk和Hadoop

版权声明：

本文为博主学习整理原创文章，如有不正之处请多多指教。

未经博主允许不得转载。 https://mp.csdn.net/postedit/82432180

Hadoop简介：

Hadoop一个分布式系统基础构架，由Apache基金会开发（相当于红十字会，里面软件都是免费的）。Hadoop的框架最核心的设计是HDFS（海量的数据提供了存储、分布式存储 多节点；副本（Replication）:默认3个；负载均衡：平衡数据 防止数据倾斜；离线存储）和MapReduce（海量的数据提供了计算）。官网： http://hadoop.apache.org/

HADOOP组成部分

NameNode:

简称NN，整个集群大脑。存储的是元数据信息（数据的基本信息。如数据的大小数据的存入时间等）。负责所有节点的总体调度和存储

DataNode:

具体存储数据的节点。数据以块（block）信息存储，默认大小128M，可以修改。

顺序写入，末尾追加，不支持随机存储。

SecondaryNameNode:

负责协调NameNode （NN）和DataNode （DN）。

 

HADOOP环境搭建JDK安装

①解压

tar -zxvf hadoop-2.6.5.tar.gz  -C /path  -C是指定解压的目录

②配置环境变量

进入vi /etc/profile在末尾追加

 

export JAVA_home=/jdk/jdk1.8.0_171  jdk的解压路径（包含解压文件名称）

export JRE_HOME==/jdk/jdk1.8.0_171         jdk的解压路径（包含解压文件名称）

export PATH=$PATH:$JAVA_HOME/bi