hadoop安装

最新推荐文章于 2024-03-18 17:53:34 发布

原创最新推荐文章于 2024-03-18 17:53:34 发布 · 212 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#hadoop #big data

本文详细介绍了在Mac OS上下载并配置Hadoop 3.3.0的步骤，包括环境变量设置、配置文件修改、启动HDFS及NameNode，以及通过浏览器检查和工程引入jar路径。

hadoop-3.3.0.tar.gz下载地址：Index of /dist/hadoop/common/hadoop-3.3.0https://archive.apache.org/dist/hadoop/common/hadoop-3.3.0/

macos安装步骤：

1）修改环境变量：

vi ~/.bash_profile

#hadoop
export HADOOP_HOME=~/Work/hadoop-3.3.0
export PATH=$PATH:$HADOOP_HOME/bin
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_CLASSPATH=$JAVA_HOME/lib/tools.jar
export PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$PATH 
#java
export JAVA_HOME="/Library/Java/JavaVirtualMachines/jdk1.8.0_111.jdk/Contents/Home"
export JRE_HOME="$JAVA_HOME/jre"
export CLASSPATH=.:$JAVA_HOME
export PATH=$PATH:/Users/wisdom_leo/Library/Tomcat/bin:$JAVA_HOME/bin:$JRE_HOME/bin
export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
export LD_LIBRARY_PATH=/Library/Java/Extensions

2）修改配置文件：hadoop-3.3.0/etc/hadoop

hadoop-env.sh

core-site.xml

hdfs-site.xml

mapred-site.xml

yarn-site.xml

3）启动应用。hadoop-3.3.0/sbin

在mac的系统偏好设置-->共享中打开远程登录

./hdfs namenode -format

./start-dfs.sh

jps观察应用是否成功启动