大数据之hadoop环境搭建笔记

最新推荐文章于 2021-05-12 15:50:50 发布

结巴分词

最新推荐文章于 2021-05-12 15:50:50 发布

阅读量264

点赞数

分类专栏：大数据文章标签： hadoop

本文链接：https://blog.csdn.net/jiebaHZ/article/details/102581214

版权

文章目录

1. 环境选择
2. 搭建过程

1. 环境选择

操作系统：centos7.2
hadoop2.7.6
jdk1.8_144

2. 搭建过程

首先将下载的压缩包解压到对应的目录，使用命令：

tar -zxvf [文件名] -C [解压位置]

2.1 java环境

1.配置java环境变量

gedit /etc/profile

export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_144
export JRE_HOME=${JAVA_HOME}/jre  
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib  
export PATH=${JAVA_HOME}/bin:$PATH

source /etc/profile

2.2 hadoop配置

1.配置hadoop环境变量

gedit /etc/profile

export HADOOP_HOME=/opt/hadoop-2.7.6
export PATH=$PATH:$HADOOP_HOME/bin

source /etc/profile

2.修改配置文件，注意：所有配置中的路径和主机名根据自己实际情况更改

一、

gedit /opt/hadoop-2.7.6/etc/hadoop/slaves

清空文件，加入节点，这里以两个举例，如果想让master也作为DataNode节点，可以加进去

slave1
slave2

二、

gedit /opt/hadoop-2.7.6/etc/hadoop/hadoop-env.sh

# The java implementation to use
export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_144

三、

gedit /opt/hadoop-2.7.6/etc/hadoop/core-site.xml

<configuration>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>file:///opt/hadoop-2.7.6</value>
        <description>Abase for other temporary directories.</description>