- 博客(3)
- 收藏
- 关注
RSS订阅原创 在Mac上安装Spark apache-spark-3.5.1
安装spark的步骤较为简单，前提是要安装好Hadoop哦。这里我使用brew来安装，如果你安装了homebrew直接在终端里输入brew install apache-spark然后等着就可以了（如果没有安装过brew的参考其他博主的内容去安装哦）上面这个就是用brew安装好的样子切换到spark3.5.1的目录下，然后再切换到 libexec/conf 下面先复制一份 spark-env.sh.template 文件然后重命名（用cp命令）为spark-env.sh。
2024-04-11 22:22:24
686
原创 在Mac上安装Hive.4.0.0（M3：基于arm架构）
要先装好Hadoop，mysql哦！！jdk也自己装好，要装1.8的。由于M系列芯片使用的是arm架构所以，在mac使用brew下载的hive会报错这里我直接去阿里镜像上下载下载这个带着bin的然后解压（在mac里面可以不用tar命令，直接点压缩包它自己会解压，然后把压缩包找个目录保存好，重命名mac里也可以不用mv命令直接control点击文件就可以重命名了）然后我们vim ~/.bash_profile然后再source ~/.bash_profile。
2024-04-07 21:28:33
1142
原创 解决在Mac上，执行./start-yarn.sh的时候出现localhost: ERROR: Cannot set priority of nodemanager process 29577的问题
这个目录下有三个文件cd到name/current里，查看name的clusterID，就把与clusterID与另一个data/current里面的clusterID比较，如果不一样就把data的clusterID用vim改成name里的就可以了，然后再重启集群。在提醒一下当时，我出问题之后，就以为自己前面是不是有问题就重新配了一次，然后启动Hadoop的时候datanode就掉了，是因为格式化namenode太多次了，到。上面这个方法的时候，出现了该方法不可访访问的问题。jps一下 ，守护进程都有了。
2024-04-07 11:59:28
507
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人