Linux伪分布(配置文件的修改,需要其他的内容可以看我的其他文章,都超详细,小白包教包会)

配置文件的修改

首先修改配置文件

在此之前先对虚拟机做一个镜像保存,这很重要。

先声明一下,无论是参照谁的文件都需要注意自己路径的设置,我在root路径下分别设置了data,app,tools,software四个文件夹。把安装包放在software下,然后把解压文件和程序安装在了app下。

先创建系统文件夹

mkdir -p /root/data/tmp /root/data/dfs /root/data/dfs/name /root/data/dfs/data /root/data/dfs/namesecondary /root/data/dfs/hadoop-logs /root/data/dfs/yarn-logs

然后进入虚拟机

输入

cd /root/app/hadoop/etc/hadoop

然后开始修改配置文件(配置文件里面涉及名称,我的名称是hadoop3,如果不是的话需要修改!!!) 

这里的路径也很重要,注意我配置的路径,各位如果路径不一样需要自己找。

下面是对hadoop-env.sh的修改

直接添加即可

输入vim hadoop-env.sh

然后点击键盘上的a,直接进行插入(这个里面没有可以修改的名称,除了路径)

虚拟机里面ctrl+shift+v是粘贴

以下是插入内容

export JAVA_HOME=/root/app/java

export HDFS_NAMENODE_USER=root

export HDFS_DATANODE_USER=root

export HDFS_SECONDARYNAMENODE_USER=root

export YARN_RESOURCEMANAGER_USER=root

export YARN_NODEMANAGER_USER=root

#

export HADOOP_LOG_DIR=/root/data/dfs/hadoop-logs

然后摁Esc,输入一个英文状态的冒号:,然后输入小写的wq

上面操作表示退出保存

然后进行第二个文件配置

vim workers

注释所有内容,然后输入主机名称

主机名称和我一样的话就输入hadoop3

如果不一样的话就输入自己的主机名称即可,如果不知道自己的主机名称的话可以在主界面输入

vi /etc/hostname

然后显示出来的内容就是自己的主机名称

同样此时修改完第二个文件像上面一样摁Esc,然后输入:,输入小写的wq保存退出

然后进行第三个文件配置

vim core-site.xml

点击a输入

以下是粘贴内容

<configuration>

         <property>

                    <name>fs.defaultFS</name>

                    <value>hdfs://spark3:9000</value>

         </property>

         <property>

                    <name>hadoop.tmp.dir</name>

                    <value>/root/data/tmp</value>

         </property>

</configuration>

然后摁Esc,然后输入:,输入小写的wq

保存退出后

然后进行第四个文件配置

输入vim mapred-site.xml

然后点击a进入插入

<configuration>

         <property>

                    <name>mapreduce.framework.name</name>

                    <value>yarn</value>

         </property>

</configuration>

输入完成后摁Esc,然后输入:,输入小写的wq

接着进行第五个文件的配置

输入vim hdfs-site.xml (里面有一个地方需要修改,我输入的是hadoop3:9868)

<configuration>

         <property>

                  <name>dfs.replication</name>

                  <value>1</value>

         </property>

         <property>

                  <name>dfs.namenode.name.dir</name>

                  <value>/root/data/dfs/name</value>

         </property>

         <property>

                  <name>dfs.datanode.data.dir</name>

                  <value>/root/data/dfs/data</value>

         </property>

         <property>

                  <name>dfs.namenode.checkpoint.dir</name>

                  <value>/root/data/dfs/namesecondary</value>

         </property>

         <property>

                  <name>dfs.namenode.secondary.http-address</name>

                  <value>hadoop3:9868</value>

         </property>

         <property>

                  <name>dfs.permissions.enabled</name>

                  <value>false</value>

         </property>

</configuration>

输入完成后摁Esc,然后输入:,输入小写的wq

接着进行第六个文件的配置

输入vim yarn-site.xml

<configuration>

        <property>

                <name>yarn.resourcemanager.hostname</name>

                <value>hadoop3</value>

        </property>

        <property>

                <name>yarn.nodemanager.aux-services</name>

                <value>mapreduce_shuffle</value>

        </property>

        <property>

                <name>yarn.application.classpath</name>

                <value>/root/app/hadoop/etc/hadoop:/root/app/hadoop/share/hadoop/common/lib/*:/root/app/hadoop/share/hadoop/common/*:/root/app/hadoop/share/hadoop/hdfs:/root/app/hadoop/share/hadoop/hdfs/lib/*:/root/app/hadoop/share/hadoop/hdfs/*:/root/app/hadoop/share/hadoop/mapreduce/*:/root/app/hadoop/share/hadoop/yarn:/root/app/hadoop/share/hadoop/yarn/lib/*:/root/app/hadoop/share/hadoop/yarn/*</value>

        </property>

</configuration>

输入完成后摁Esc,然后输入:,输入小写的wq

此时所有的文件已经配置完,接着下面该安装python了

下期见!

  • 2
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值