hadoop 安装_Hadoop 第一课 安装JDK & Hadoop 启动

本人将从零开始讲hadoop的搭建进行梳理。(如相关---大数据&java疑问可以私信)

hadoop从零开始到放弃

1、安装和配置JDK

Hadoop是基于java语言环境的，所以需要设置java运行环境。

1.1、安装包下载地址--->Oracle官方

https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html

jdk

1.2、创建干净的目录

mkdir  usr/java

1.3、假设下载的是.gz文件

tar -zxvf jdk-8u152-linux-x64.tar.gz

1.4、假设下载的是.rmp 文件

rmp -ivh  jdk-8u152-linux-x64.rmp

1.5、安装完成删除安装文件

rm  jdk-8u152-linux-x64.tar.gz

1.6、配置环境变量

记住这个文件以后要经常用到 /etc/profile

vim /etc/profile

插入如下参数：

export JAVA_HOME=/usr/java/jdk1.8.0_152export JRE_HOME=${JAVA_HOME}/jreexport CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib:$CLASSPATHexport JAVA_PATH=${JAVA_HOME}/bin:${JRE_HOME}/binexport PATH=$PATH:${JAVA_PATH}

编辑完成后保存退出 命令 :wq。

1.7 刷新系统配置文件使配置参数生效

 source /etc/profile

1.8、验证JDK是否安装成功

java -version

java

1.9 在线下载(网络良好时推荐)

wget http://download.oracle.com/otn-pub/java/jdk/8u131-b11/d54c1d3a095b4ff2b6607d096fa80163/jdk-8u131-linux-x64.tar.gz

以上完成JDK 的安装。

2、安装hadoop

2.1、下载安装包

官网链接：

http://mirrors.hust.edu.cn/apache/hadoop/core/stable/hadoop-2.5.2.tar.gz

在线下载

wget http://mirrors.hust.edu.cn/apache/hadoop/core/stable/hadoop-2.5.2.tar.gz

2.2、解压安装

tar -zxvf hadoop-2.5.2.tar.gz

2.3、配置hadoop的bin和sbin文件夹到环境变量

记住这个文件以后要经常用到 /etc/profile

vim /etc/profile

添加以下参数

export HADOOP_HOME=/home/hadoop/hadoop-2.5.2export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$JAVA_HOME/jre/bin:$PATH

安装完成可以启动！！！

hadoop version  -- 查看是否安装成功

3、hadoop伪分布式

3.1、修改hadoop文件 hadoop-env.sh

需要在etc/hadoop/hadoop-env.sh中配置JAVA_HOME 否则在start-dfs.sh 启动会报错。

ERROR:JAVA_HOME is not set and cloud not be found

添加配置：

export JAVA_HOME =/usr/java/jdk1.8.0_152

3.2、修改hadoop文件 core-site.xml

文件路径

/home/bigdata/hadoop-2.5.2/etc/hadoop

修改内容

fs.defaultFS hdfs://master:7000

解释：core-site.xml:主要配置访问hadoop集群的主要信息，master代表主机名称可以用IP替换，

7000表示端口号。

外部配置hdfs://master:7000就可以访问到集群。

3.3、修改hadoop文件hdfs-site.xml

文件路径

/home/bigdata/hadoop-2.5.2/etc/hadoop

添加参数

dfs.replication1

解释：hdfs-site.xml ：主要配置hdfs相关的信息。

dfs.replication ：表示副本，value=1表示副本数为1

3.4、初始化集群配置

基本配置完成后就可以初始化集群。

hdfs namenode -format 

hadoop format

初始化成功的日志

hadoop初始化成功

3.5、启动HDFS

./start-dfs.sh

每日一图

下一节：《完全分布式安装&DFS和HDFS的介绍》