配置文件的修改
首先修改配置文件
在此之前先对虚拟机做一个镜像保存,这很重要。
先声明一下,无论是参照谁的文件都需要注意自己路径的设置,我在root路径下分别设置了data,app,tools,software四个文件夹。把安装包放在software下,然后把解压文件和程序安装在了app下。
先创建系统文件夹
mkdir -p /root/data/tmp /root/data/dfs /root/data/dfs/name /root/data/dfs/data /root/data/dfs/namesecondary /root/data/dfs/hadoop-logs /root/data/dfs/yarn-logs
然后进入虚拟机
输入
cd /root/app/hadoop/etc/hadoop
然后开始修改配置文件(配置文件里面涉及名称,我的名称是hadoop3,如果不是的话需要修改!!!)
这里的路径也很重要,注意我配置的路径,各位如果路径不一样需要自己找。
下面是对hadoop-env.sh的修改
直接添加即可
输入vim hadoop-env.sh
然后点击键盘上的a,直接进行插入(这个里面没有可以修改的名称,除了路径)
虚拟机里面ctrl+shift+v是粘贴
以下是插入内容
export JAVA_HOME=/root/app/java
export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root
#
export HADOOP_LOG_DIR=/root/data/dfs/hadoop-logs
然后摁Esc,输入一个英文状态的冒号:,然后输入小写的wq
上面操作表示退出保存
然后进行第二个文件配置
vim workers
注释所有内容,然后输入主机名称
主机名称和我一样的话就输入hadoop3
如果不一样的话就输入自己的主机名称即可,如果不知道自己的主机名称的话可以在主界面输入
vi /etc/hostname
然后显示出来的内容就是自己的主机名称
同样此时修改完第二个文件像上面一样摁Esc,然后输入:,输入小写的wq保存退出
然后进行第三个文件配置
vim core-site.xml
点击a输入
以下是粘贴内容
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://spark3:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/root/data/tmp</value>
</property>
</configuration>
然后摁Esc,然后输入:,输入小写的wq
保存退出后
然后进行第四个文件配置
输入vim mapred-site.xml
然后点击a进入插入
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
输入完成后摁Esc,然后输入:,输入小写的wq
接着进行第五个文件的配置
输入vim hdfs-site.xml (里面有一个地方需要修改,我输入的是hadoop3:9868)
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>/root/data/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/root/data/dfs/data</value>
</property>
<property>
<name>dfs.namenode.checkpoint.dir</name>
<value>/root/data/dfs/namesecondary</value>
</property>
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>hadoop3:9868</value>
</property>
<property>
<name>dfs.permissions.enabled</name>
<value>false</value>
</property>
</configuration>
输入完成后摁Esc,然后输入:,输入小写的wq
接着进行第六个文件的配置
输入vim yarn-site.xml
<configuration>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>hadoop3</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.application.classpath</name>
<value>/root/app/hadoop/etc/hadoop:/root/app/hadoop/share/hadoop/common/lib/*:/root/app/hadoop/share/hadoop/common/*:/root/app/hadoop/share/hadoop/hdfs:/root/app/hadoop/share/hadoop/hdfs/lib/*:/root/app/hadoop/share/hadoop/hdfs/*:/root/app/hadoop/share/hadoop/mapreduce/*:/root/app/hadoop/share/hadoop/yarn:/root/app/hadoop/share/hadoop/yarn/lib/*:/root/app/hadoop/share/hadoop/yarn/*</value>
</property>
</configuration>
输入完成后摁Esc,然后输入:,输入小写的wq
此时所有的文件已经配置完,接着下面该安装python了
下期见!