yuiti
tips:
本人电脑运行时使用的mac系统是macOS12Monterey的版本,同样使用M核心mac的同学使用更新的版本在系统设置等地方可能有所出入,对于使用intel核心的老macbook的安装方式与本篇差别较大,建议移步搜索引擎自行搜索。特此说明。--2023.10月
-
Python(无需环境变量)
到anaconda官网下载
打开下载的pkg文件,安装成功后会自动在后台软件中显示,使用command+空格快捷键搜索anaconda即可直接打开,环境变量中关于anaconda的环境变量会自动设置。在anaconda中下载jupyter notebook再运行即可在终端后台自动打开python,并进行网页中的运行等等操作。
启动Jupiter notebook
终端指令自动跳出
网页自动打开
正常运行python代码
-
JAVA(自动安装环境变量)
官网下载jdk
官网下载macOS系统版本(图源CSDN:MAC(适用于M1芯片)下载Java8(JDK1.8)安装、配置环境、匹配IDEA_mac安装jdk1.8-CSDN博客)
按指示顺序安装(图源CSDN:MAC(适用于M1芯片)下载Java8(JDK1.8)安装、配置环境、匹配IDEA_mac安装jdk1.8-CSDN博客)
安装成功后,JAVA也会自动安装java环境变量与系统环境变量
检测:
终端
系统偏好设置中也显示了JAVA:
-
MySQL安装
官网下载地址:
MySQL :: Download MySQL Community Server (Archived Versions)
进入官网:
选择其中一款ARM,DMG版本即可(新版本M1,M2芯片的Macbook使用ARM系统,DMG下载后可以自动安装,对于老机型下载X86 和后缀为TAR Archive的压缩包不是很清楚如何操作)
安装到这一步时,在上面输入密码,记住自己的密码,之后不管是直接终端登录mysql还是使用navicat还是Mysql workbench操作都需要输密码。
Tips:注意M芯片下载ARM版本的Mysql不需要更改环境变量,系统会自动配置环境变量!!!如果改变了环境变量可能会反而导致链接不上mysql
下载成功后检查系统偏好设置中是否存在mysql:
若在DMG文件打开时显示打开失败,或显示未授权,未授信应用无法打开等等,要前往系统偏好设置->安全性与隐私->通用 中点按锁打开后对最下面写的对应文件打勾(若点按锁按钮点不动,试试关掉窗口重新开一遍)。这个操作在很多外来软件中都需要用到。
检查成功后点开mysql:
绿灯表示打开,若需要在xampp链接,需要先把这里的开关关掉,若忘记密码,在initialize中可以重新设定密码。
Password密码需要与mysql中一致,别的不需要改
在navicat中成功连接,绿色表示已经连接上服务器,在终端中输入mysql -uroot -p,显示输入密码,输入不显示,输入后回车提示行变为mysql>即为成功。
-
Hadoop安装
谨慎下载!如果没有上数据库等课程,无需安装,由于mac的M系统安装,更改环境变量等操作非常麻烦,成功率低,请谨慎安装。
我主要参考的是csdn中的这篇文章:
Mac安装Hadoop(超级无敌宇宙爆炸详细)-CSDN博客“Mac安装Hadoop(超级无敌宇宙爆炸详细)”
为了方便大家复制,我会将网站文本中需要复制的指令在章节末全部复制一遍。
具体顺序:
ssh免密
安装homebrew
通过homebrew安装hadoop:
注意:在安装homebrew和使用brew安装hadoop时如果进度卡住,请断开校园网使用手机热点或其他网络。
安装成功后在终端找到这行代码,对应的是你自己安装hadoop的路径,在之后所有环境变量和系统变量中把所有他的路径改为你自己的路径即可。
(将红线标的他的路径更改为自己的路径)
请一定仔细查看他的教程,对其中的文字粘贴位置等等不能出错。
将所有可以更改路径的位置改好之后,在进入vim指令时,会发现无法复制或更改,一定不要乱按!可能会导致环境变量出错。
要更改vim文件,需要在终端打开vim配置文件时,切换成英文输入法,按下键盘i键:
在下方出现insert后才能进行增改删操作。
在更改完毕后,按键盘esc键退出insert模式,退出模式后输入:(shift+分号键)下方会自动出现冒号,之后输入wq或q(若对文本进行了更改则输入:wq,若未更改则输入:q)
之后的hdfs环境变量配置也是一样,需要更改文件路径为自己之前保存的路径。
修改系统环境变量,也需要更改路径。
注意:执行source ~/.bash_profile后若没有任何反应是正常的,代表应用成功了,若报错可能不一定是Hadoop的问题,也可能是其他环境变量配置的问题,java和anaconda的系统变量都储存在这个文件中。
这里也要注意更换文件路径
这里也要,若能够出现上文内容和打开绿色网站,那么大功告成。后文的内容若不需要对应操作可以暂且不用。
文本复制
(文本复制:若没有csdn账号可直接复制和更改下文文本中复制的内容)
Tips:绿色和红色文本均为需要输入的指令,所有标出的文本中间的深灰色部分需要将你的hadoop文件路径进行替换。
免密登录:
打开终端terminal,输入命令:ssh-keygen -t rsa 一直回车即可
cd ~/.ssh
ls
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
在terminal终端输入ssh localhost
安装hadoop
安装homebrew:
/bin/zsh -c "$(curl -fsSL https://gitee.com/cunkai/HomebrewCN/raw/master/Homebrew.sh)"
输入brew -v测试一下安装是否成功
安装成功后执行brew install Hadoop
修改hadoop配置文件
打开core-site.xml
vim /opt/homebrew/Cellar/hadoop/3.3.1/libexec/etc/hadoop/core-site.xml
修改core-site.xml文件
<property>
<name>hadoop.tmp.dir</name>
<value>file:/opt/homebrew/Cellar/hadoop/3.3.1/libexec/tmp</value>
</property>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:8020</value>
</property>
修改hdfs-site.xml文件
打开hdfs-site.xml
vim /opt/homebrew/Cellar/hadoop/3.3.1/libexec/etc/hadoop/hdfs-site.xml
修改hdfs-site.xml文件
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/opt/homebrew/Cellar/hadoop/3.3.1/libexec/tmp/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/opt/homebrew/Cellar/hadoop/3.3.1/libexec/tmp/dfs/data</value>
</property>
打开系统环境变量
执行vim ~/.bash_profile,追加以下内容(路径跟随自己安装的路径变化)
修改系统环境变量
export HADOOP_HOME=/opt/homebrew/Cellar/hadoop/3.3.1/libexec
export HADOOP_COMMON_HOME=$HADOOP_HOME
export PATH=$JAVA_HOME/bin:$PATH:$HADOOP_HOME/bin:/opt/homebrew/Cellar/scala/bin
执行source ~/.bash_profile,刷新环境变量
- 初始化namenode节点
首先执行cd /opt/homebrew/Cellar/hadoop/3.3.1/bin
进入到hadoop的bin目录下执行./hdfs namenode -format
启动hadoop
执行cd /opt/homebrew/Cellar/hadoop/3.3.1/sbin
进入到hadoop的sbin目录下执行./start-dfs.sh
然后执行jps查看是否启动成功
在浏览器输入
http://localhost:9870/dfshealth.html#tab-overview也能查看