1)调整shell日志的信息:
在conf下创建一个 log4j.properties的文件来管理日志的设置,后将 log4j.rootCategory=INFO,console 修改为 log4j.rootCategory=WARN,console
2)使用IPython
安装好 IPython,然后,启动时,将 IPYTHON=1,即 $ IPYTHON=1 bin/pyspark ,也可以在 ~/.bashrc增加 export IPYTHON=1 。以后,就可以直接使用 命令 bin/pyspark即可。
3)运行 python