创建本地集群的一些坑

最新推荐文章于 2023-07-27 21:03:39 发布

安大许光汉

最新推荐文章于 2023-07-27 21:03:39 发布

阅读量2.5k

点赞数

文章标签： spark big data hadoop

本文链接：https://blog.csdn.net/weixin_42547302/article/details/121315903

版权

坑1

bin/workloads/micro/wordcount/prepare/prepare.sh

报错
patching args=
/usr/bin/env: ‘python2’: No such file or directory
/home/wk/sd_hibench/spark/spark-rl-test/hibench/bin/functions/workload_functions.sh: line 38: .: filename argument required
.: usage: . filename [arguments]
start HadoopPrepareWordcount bench
bin/workloads/micro/wordcount/prepare/prepare.sh: line 26: INPUT_HDFS: unbound variable

HIBENCH依赖python2.x，需要安装一下

apt-get install python2

坑2
yarn的nodemanager没法启动，集群没有active node
查看hadoop/log日志，发现没有shuffle的jar包
把spark/yarn/的shuffle包拷到hadoop/share/hadoop/yarn/lib中即可

坑3
远程连接ubuntu黑屏，需要把ubuntu的用户注销，才可以登录进去。

坑4
远程连接ubuntu，pycharm打不开，报错

Can't connect to X11 window server using XX as the value of the DISPLAY

当时用的是root，后来换成自己用户就可以了

坑5
一开始给各个主机安装操作系统，都要插外设。几台机子都配置好ssh和远程服务后，显示器接我自己的主机居然不显示，主板VGA灯亮，吓坏了，我把机子拆了，也看不出什么问题，最后接近崩溃，发现是VGA-HDMI转接线坏了。后来学长告诉我显示器没有隔热，不能热插拔，还好有转接线，不然把主板烧坏我就G了… 千万要注意啊