m1芯片 centos7 安装hadoop以及遇到的问题

 

Safari浏览器有时候对tar.gz文件会自动解压，最好关闭这个，Safari浏览器偏好设置中，关闭下载后打开安全文件

 下载hadoop 3.2.0安装包，使用secureFX导入安装目录下

 安装目录下解压安装文件。

tar -zxvf hadoop-3.2.0.tar.gz 

解压完成以后，进入安装文件夹里修改配置文件。

[root@centos8 soft]# cd hadoop-3.2.0/
[root@centos8 hadoop-3.2.0]# cd etc/hadoop/

 vi hadoop-env.sh

修改这个配置文件

 

配置文件最后插入

export JAVA_HOME=/data/soft/jdk1.8
export HADOOP_LOG_DIR=/data/hadoop_repo/logs/hadoop

修改core-site.xml文件

 

插入，其中centos01是主机名，修改成自己的

core-site.xml
<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://centos01:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/data/hadoop_repo</value>
    </property>
</configuration>

接下来，修改hdfs-site.xml，2 指的是从节点个数，centos01依然是主机名，切换成你自己的

<configuration>
  <property>
    <name>dfs.replication</name>
    <value>2</value>
  </property>
  <property>
    <name>dfs.namenode.secondary.http-address</name>
    <value>centos01:50090</value>
  </property>
</configuration>

接下来是mapred-site.xml  

<configuration>
  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>
</configuration>

 yarn-site.xml 修改，centos01依然是主机名

<configuration>
  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
  </property>
  <property>
    <name>yarn.nodemanager.env-whitelist</name>
    <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
  </property>
  <property>
    <name>yarn.resourcemanager.hostname</name>
    <value>centos01</value>
  </property>
</configuration>

workers，加入从节点，

 

 配置文件修改完成以后，继续修改脚本，进入 hadoop-3.2.0/sbin文件下

vi start-dfs.sh

 修改这个脚本，加入，stop-dfs.sh也是加入相同的

HDFS_DATANODE_USER=root
HDFS_DATANODE_SECURE_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root

接着修改，start-yarn.sh和stop-yarn.sh

YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root

此时第一个主节点修改完毕，将修改完成的hadoop目录复制到另外的从节点上，这个需要主节点和从节点网络互通，同时免密登录也配置完成。

scp -rq hadoop-3.2.0 centos02:/data/soft/

 复制完成以后，进行格式化 

 bin/hdfs namenode -format

现在就可以在主节点上启动了

 sbin/start-all.sh

启动以后可以使用jps查看进程，应当有四个进程