spark 总结1-用python 语言

1）调整shell日志的信息：

在conf下创建一个 log4j.properties的文件来管理日志的设置，后将 log4j.rootCategory=INFO,console 修改为 log4j.rootCategory=WARN,console

2)使用IPython

安装好 IPython,然后，启动时，将 IPYTHON=1，即 $ IPYTHON=1 bin/pyspark ，也可以在 ~/.bashrc增加 export IPYTHON=1 。以后，就可以直接使用 命令 bin/pyspark即可。

3）运行 python