ubuntu 安装 hadoop

1. 安装 Hadoop 依赖的软件
   • Ubuntu 需要单独安装:
   $ sudo apt-get install ssh
   $ sudo apt-get install pdsh

Ubuntu 需要执行
$ ssh-keygen -t rsa -P ‘’ -f ~/.ssh/id_rsa
$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
$ chmod 0600 ~/.ssh/authorized_keys

2. 环境变量的配置
   Ubuntu 的所有环境变量需要配置在~/.profile 文件中,并在文件最结尾处添加后续内容中要求的环境变量

配置 Java 和 Hadoop 的环境变量,并修改 PATH 环境变量:
export JAVA_HOME=/home/l/Downloads/jdk-11.0.5
export PATH=#JAVA_HOME/bin:$PATHexportCLASSPATH=.:$JAVA_HOME/lib/de.jar:$JAVA_HOME/lib/tools.jar

export HADOOP_HOME=/home/l/Downloads/hadoop-3.3.0
PATH=$PATH:JAV{A}_{H}OME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

环境变量配置完毕后:
• Ubuntu 输入 source ~/.profile,即可让环境变量配置生效

4. 在$HADOOP_HOME/etc/hadoop/core-site.xml 中添加
   
   
   fs.defaultFS
   hdfs://localhost:9000
   
   
5. 在$HADOOP_HOME/etc/hadoop/hdfs-site.xml 中添加
   
   dfs.replication
   1
   
   
6. $HADOO{P}_{H}OME/etc/hadoop/hadoop-env.sh这个文件中都包含了exportJAV{A}_{H}OME=${JAVA_HOME}这一行,需要将${JAVA_HOME}替换为 JDK 的绝对路径。
   如果 export 前面有#,应该去掉#(#是注释)。
7. 在$HADOOP_HOME/etc/hadoop/找到 mapred-site.xml,加入:
   
   
   mapreduce.framework.name
   yarn
   
   
   mapreduce.application.classpath
   
   $HADOO{P}_{M}APRE{D}_{H}OME/share/hadoop/mapreduce/\ast :$HADOOP_MAPRED_HOME/share/hadoop/mapreduce/l
   ib/*
   
   
   
8. 在$HADOOP_HOME/etc/hadoop/yarn-site.xml 中添加
   
   
   yarn.nodemanager.aux-services
   mapreduce_shuffle
   
   
   yarn.nodemanager.env-whitelist
   JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCA
   CHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME
   
   
9. 依次输入如下命令
   $ hdfs namenode -format
   $ hdfs datanode -format
   $ start-dfs.sh
   $ hdfs dfs -mkdir /user
   $ hdfs dfs -mkdir /user/
   需要替换为自己的用户名
   $ start-yarn.sh
   $ mr-jobhistory-daemon.sh start historyserver
10. 打开浏览器,输入
    http://localhost:8088 和 http://localhost:50070 能分别看到如下内容则配置正确11. OS X 如果图中的 Active Nodes 不是 1,则可能需要做如下修改
    •
    在$HADOO{P}_{H}OME/etc/hadoop/hdfs-site.xml中添加<property><name>dfs.datanode.directoryscan.throttle.limit.ms.per.sec</name><value>1000</value></property>•在$HADOOP_HOME/etc/hadoop/yarn-site.xml 中添加
    
    
    yarn.nodemanager.disk-health-checker.max-disk-utilization-per-disk-percentage
    
    95