Hadoop3.1.2(Linux版本)环境搭建记录2-Pseudo-Distributed(伪分布式模式)

    上一节中我们了解了单机模式,这一节中,会说明第二种模式伪分布式模式,这种模式相比于单机模式,增加了检查内存使用情况,hdfs输入输出,以及其他的守护进程交互。

    配置伪分布式主要是配置etc/hadoop中的配置文件,分别是core-site.xml、mapred-site.xml以及hdfs-site.xml。

core-site.xml(配置namenode)

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

hdfs-site.xml(配置datanode)

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>

mapred-site.xml(配置jobtracker/tasktracker)

<configuration>
    <property>
        <name>mapred.job.tracker</name>
        <value>localhost:9001</value>
    </property>
</configuration>

    完成上述配置后,检测一下ssh的安装情况,要配置成免密登录的方式,具体实现方式

  $ ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
  $ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
  $ chmod 0600 ~/.ssh/authorized_keys

    完成上述步骤后,需要首先格式化一下文件系统,具体实现方式:

$ bin/hdfs namenode -format

    完成上述步骤后,需要启动hadoop,这时候需要用到sbin目录中的sh脚本,如果使用的是root账户启动,使用之前需要在使用的脚本之前,加入以下配置:

HDFS_DATANODE_USER=root
HADOOP_SECURE_DN_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root

例如,我要使用start-dfs.sh脚本,就需要把上述的内容粘贴到脚本中,然后就可以直接运行脚本。

运行完脚本后,可以使用jps命令查看启动的守护进程。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Hadoop是一个开源的分布式计算框架,它可以处理大规模的数据。在这篇文章中,我将会介绍如何在完全分布式环境下搭建Hadoop 3.1.2。 1. 首先,你需要安装Java。Hadoop需要Java的运行环境,你可以在Oracle官网上下载Java。 2. 下载Hadoop 3.1.2的二进制文件,你可以在官网上下载。下载完成后,解压缩文件到一个目录中,比如/home/hadoop/hadoop-3.1.2。 3. 在/etc/profile文件中添加如下内容: export JAVA_HOME=/usr/lib/jvm/jre-1.8.0-openjdk-1.8.0.242.b08-0.el7_7.x86_64 export PATH=$JAVA_HOME/bin:$PATH export HADOOP_HOME=/home/hadoop/hadoop-3.1.2 export PATH=$HADOOP_HOME/bin:$PATH export PATH=$HADOOP_HOME/sbin:$PATH 这样,我们就可以在任何地方使用Hadoop命令了。 4. 在Hadoop的配置文件中,我们需要修改三个文件:hadoop-env.sh、core-site.xml、hdfs-site.xml。 在hadoop-env.sh文件中,我们需要设置JAVA_HOME的路径: export JAVA_HOME=/usr/lib/jvm/jre-1.8.0-openjdk-1.8.0.242.b08-0.el7_7.x86_64 在core-site.xml文件中,我们需要设置Hadoop的默认文件系统类型和地址: <configuration> <property> <name>fs.defaultFS</name> <value>hdfs://localhost:9000</value> </property> </configuration> 在hdfs-site.xml文件中,我们需要设置Hadoop的数据存储目录: <configuration> <property> <name>dfs.replication</name> <value>1</value> </property> <property> <name>dfs.namenode.name.dir</name> <value>/home/hadoop/hadoop-3.1.2/hdfs/namenode</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>/home/hadoop/hadoop-3.1.2/hdfs/datanode</value> </property> </configuration> 5. 启动Hadoop集群。在这里,我们需要启动namenode和datanode。在启动之前,我们需要格式化namenode: hadoop namenode -format 然后,我们可以启动Hadoop了: start-dfs.sh start-yarn.sh 6. 验证Hadoop集群是否正常工作。我们可以使用下面的命令来查看Hadoop集群的状态: hadoop dfsadmin -report 这个命令会返回Hadoop集群的一些信息,包括datanode的状态、集群的副本数等。 至此,Hadoop 3.1.2完全分布式环境搭建完成。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值