最新【大数据】Mac下安装hadoop-scala-spark(1)，2024年最新重难点整理

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

需要这份系统化资料的朋友，可以戳这里获取

A base for other temporary directories.

fs.default.name

hdfs://localhost:8020

并且建立文件夹 mkdir /usr/local/Cellar/hadoop/hdfs  & mkdir /usr/local/Cellar/hadoop/hdfs/tmp

(5)配置mapred-site.xml【mapreduce和jobtracker的地址和端口】：

先备份：cp /usr/local/Cellar/hadoop/3.0.0/libexec/etc/hadoop/mapred-site.xml mapred-site-bak.xml

再编辑：vim /usr/local/Cellar/hadoop/3.0.0/libexec/etc/hadoop/mapred-site.xml  =>  添加配置

mapred.job.tracker

localhost:8021

(6)配置hdfs-site.xml【修改hdfs备份数】：vim /usr/local/Cellar/hadoop/3.0.0/libexec/etc/hadoop/hdfs-site.xml  =>  添加配置

dfs.replication

1

(7)格式化hdfs文件系统格式：hdfs namenode -format

(8)启动及关闭hadoop服务：

/usr/local/Cellar/hadoop/3.0.0/libexec/start-dfs.sh  =>  守护进程：namenodes、datanodes、secondary namenodes，浏览器中访问http://localhost:9870 ,注意端口号是9870而不是50070

/usr/local/Cellar/hadoop/3.0.0/libexec/start-yarn.sh  =>  yarn服务进程：resourcemanager、nodemanagers，浏览器中访问http://localhost:8088 和 http://localhost:8042

/usr/local/Cellar/hadoop/3.0.0/libexec/stop-yarn.sh

/usr/local/Cellar/hadoop/3.0.0/libexec/stop-dfs.sh

3、安装scala

brew下载安装scala：brew install scala   =>   可以查看到/usr/local/Cellar/scala/2.12.5存在或scala -version查看版本

4、安装spark

spark官网下载，下载的时候注意查看其需要依赖的hadoop版本是否满足，下载后mac下直接用解压软件解压并将解压后的文件mv至/usr/local下也即/usr/local/spark-2.3.0-bin-hadoop2.7

cd /usr/local/spark-2.3.0-bin-hadoop2.7/bin & spark-shell

5、系统环境变量~/.bash_profile，便于在任何目录下执行一些命令

vim ~/.bash_profile，添加

export HADOOP_HOME=/usr/local/Cellar/hadoop/3.0.0/libexec

export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin

export SCALA_HOME=/usr/local/Cellar/scala/2.12.5

export PATH=$PATH:$SCALA_HOME/bin

export SPARK_HOME=/usr/local/spark-2.3.0-bin-hadoop2.7

export PATH=$PATH:$SPARK_HOME/bin

注意：brew方式安装的hadoop3.0.0，需要配置的hadoop路径是libexec下的，否则start-dfs.sh命令会报错“error:cannot execute hdfs-config”

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

需要这份系统化资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！