spark
tech_chenlongzhen
博学慎思,明辨笃行.
[gihub: https://github.com/chenlongzhen]
[原博客不再更新: http://blog.csdn.net/sadfasdgaaaasdfa]
展开
-
sbt 安装以及编译spark程序
安装sbt 及配置0.注意 sbt 我用的是自己用户, 编译好后,切换root提交spark,注意权限问题 1. 下载wget https://dl.bintray.com/sbt/native-packages/sbt/0.13.11/sbt-0.13.11.tgz2.解压并设置环境变量tar -zxvf sbt-0.13.6.tgz -C /data/softv原创 2018-01-19 14:43:26 · 458 阅读 · 0 评论 -
ipythonnotebook + spark
已经过时PYSPARK_DRIVER_PYTHON=ipython PYSPARK_DRIVER_PYTHON_OPTS="notebook" ./bin/pyspark即可参考:http://blog.jobbole.com/86232/测试sparkpython在sparkhome下run-tests测试在Spark中使用IPython Notebook当搜索原创 2018-01-20 10:41:42 · 434 阅读 · 0 评论