centos7下安装Hadoop单机版

安装前提:java环境。

在这里插入图片描述

一、安装下载

使用版本hadoop2.9.2
地址 http://mirrors.hust.edu.cn/apache/hadoop/common/
下载并解压。

在这里插入图片描述

二、配置hadoop环境变量

vim /etc/profile   

添加如下配置

export HADOOP_HOME=/usr/local/hadoop-2.9.2 #(参照自身路径)
export PATH=$HADOOP_HOME/bin:$PATH

在这里插入图片描述

重新刷新配置 source /etc/profile
查看版本号  hadoop version

在这里插入图片描述

基本配置完成,但是想要启动并使用单机版hadoop,还需要配置几个文件:
路径是 cd /usr/local/hadoop-2.9.2/etc/hadoop/(参照自身路径);

①、vim core-site.xml 添加如下配置

<property>
    <name>fs.defaultFS</name>
    <!-- 这里填的是你自己的ip,端口默认-->
    <value>hdfs://192.168.43.133:9000</value>
</property>
<property>
    <name>hadoop.tmp.dir</name>
    <!-- 这里填的是你自定义的hadoop工作的目录,端口默认-->
    <value>/usr/local/hadoop-2.9.2/tmp</value>
</property>

<property>
    <name>hadoop.native.lib</name>
    <value>false</value>
    <description>Should native hadoop libraries, if present, be used.
    </description>
</property>

在这里插入图片描述

②、vim hadoop-env.sh 配置成你自己的jdk安装路径

在这里插入图片描述

③、vim hdfs-site.xml 添加如下内容:

<property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>

    <property>
        <name>dfs.secondary.http.address</name>

<!--这里是你自己的ip,端口默认-->
        <value>192.168.43.133:50090</value>
    </property>

在这里插入图片描述

④、复制默认的cp mapred-site.xml.template ./mapred-site.xml 配置命名为mapred-site.xml

vim mapred-site.xml 添加如下配置

<property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
</property>

在这里插入图片描述

⑤、配置yarn-site.xml

vim yarn-site.xml 添加如下配置

<property>
    <name>yarn.resourcemanager.hostname</name>
    <!-- 自己的ip端口默认 -->
    <value>192.168.43.133</value>
</property>
<!-- reducer获取数据的方式 -->
<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
</property>

在这里插入图片描述

配置好之后切换到sbin目录下:
在这里插入图片描述

格式化hadoop文件格式,执行命令 hadoop namenode -format,成功之后启动
执行启动所有命令 ./start-all.sh
在这里插入图片描述

途中需要输入登录用户密码来启动进程,也可以调整ssh配置,设置为免密登录。
此时可以http://192.168.43.133:50070进入网页查看
在这里插入图片描述

如果没有开放端口,也是无法访问的。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值