1 环境变量
spark-2.3.0-bin-hadoop2.7这是我的spark文件夹,这里替换成你的spark文件夹。
同样,jdk1.8.0_172是我的jdk文件夹,你需要替换成你的。
usr/路径下没有java文件夹,你需要新建一个文件夹,mkdir /usr/java
export SPARK_HOME=/usr/local/spark-2.3.0-bin-hadoop2.7
export PATH=$PATH:SPARK_HOME/bin
export JAVA_HOME=/usr/java/jdk1.8.0_172
export JRE_HOME=/usr/java/jdk1.8.0_172/jre
export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
前两行是加spark的环境变量,后四行是加java的环境变量。
把上面的环境变量加入 /etc/profile,
管理员权限下,输入gedit /etc/profile,会弹出一个文件,粘贴在后面就行了。
然后执行命令 source /etc/profile,环境变量会立即生效。如果不重启不会生效的。
然后,输入java -version,会出现java的版本。
2 输入java -version没有出来版本号
但是,我的死活不出来,我以为是环境变量没有设置好,于是又搜了一大堆资料,还是不行。
花了好长时间,都快气死我了。
最后还把系统给搞崩了,就是linux系统频繁输入密码,就是进不了桌面。最后按crtl + alt + f1 进入root账号,把环境变量全删除才恢复正常。
如果输入java -version没反应,需要换个环境变量文件。
于是换了~/.bashrc就ok了。
同样的操作,gedit ~/.bashrc 粘上环境变量,然后source ~/.bashrc执行。
但我没搞清楚为什么。有人说:
/etc/profile 是系统全局环境变量设定
~/.bashrc用户家目录下的私有环境变量设定
这是我走的一条弯路,希望帮助需要的人。
3 python Spark kernel notebook
如果ubuntu16.04不能正常安装包,用pip install --user keras
pip install --user toree
jupyter toree install--spark_home=your-spark-home12