创建本地集群的一些坑

坑1

bin/workloads/micro/wordcount/prepare/prepare.sh

报错
patching args=
/usr/bin/env: ‘python2’: No such file or directory
/home/wk/sd_hibench/spark/spark-rl-test/hibench/bin/functions/workload_functions.sh: line 38: .: filename argument required
.: usage: . filename [arguments]
start HadoopPrepareWordcount bench
bin/workloads/micro/wordcount/prepare/prepare.sh: line 26: INPUT_HDFS: unbound variable

HIBENCH依赖python2.x，需要安装一下

apt-get install python2

坑2
yarn的nodemanager没法启动，集群没有active node
查看hadoop/log日志，发现没有shuffle的jar包
把spark/yarn/的shuffle包拷到hadoop/share/hadoop/yarn/lib中即可

坑3
远程连接ubuntu黑屏，需要把ubuntu的用户注销，才可以登录进去。

坑4
远程连接ubuntu，pycharm打不开，报错

Can't connect to X11 window server using XX as the value of the DISPLAY

当时用的是root，后来换成自己用户就可以了

坑5
一开始给各个主机安装操作系统，都要插外设。几台机子都配置好ssh和远程服务后，显示器接我自己的主机居然不显示，主板VGA灯亮，吓坏了，我把机子拆了，也看不出什么问题，最后接近崩溃，发现是VGA-HDMI转接线坏了。后来学长告诉我显示器没有隔热，不能热插拔，还好有转接线，不然把主板烧坏我就G了… 千万要注意啊