Ubuntu18.04 Spark2.4.7使用说明
Ubuntu18.04上Spark2.4.7的搭建
参考了这个,好使的.
我的框架是jdk1.8.0_261,hadoop2.7.7, spark2.4.7, zeppelin0.8.1
日常使用
因为在自己的使用过程中,spark有的时候没有办法正常使用,不想敲一半就崩掉,所以我一般按照下面的流程走一遍。 算是笨办法哇。
- 确认java
java -version
如果没有显示java version “1.8.0_261”,
就sudo gedit /etc/profile
一下,确认一下路径无误,
然后source /etc/profile
, 一般就可以了。得到下图的结果。 如果不可以就再瞅瞅路径是不是写错了。
2. 确认hadoop
因为之前设置了免密登录,所以先试一下能否不输入密码就可登录:
ssh localhost
得到下面的结果就没啥问