spark
tech_chenlongzhen
博学慎思,明辨笃行.
[gihub: https://github.com/chenlongzhen]
[原博客不再更新: http://blog.csdn.net/sadfasdgaaaasdfa]
展开
-
sbt 安装以及编译spark程序
安装sbt 及配置 0.注意 sbt 我用的是自己用户, 编译好后,切换root提交spark,注意权限问题 1. 下载 wget https://dl.bintray.com/sbt/native-packages/sbt/0.13.11/sbt-0.13.11.tgz 2.解压并设置环境变量 tar -zxvf sbt-0.13.6.tgz -C /data/soft v原创 2018-01-19 14:43:26 · 481 阅读 · 0 评论 -
ipythonnotebook + spark
已经过时 PYSPARK_DRIVER_PYTHON=ipython PYSPARK_DRIVER_PYTHON_OPTS="notebook" ./bin/pyspark 即可 参考:http://blog.jobbole.com/86232/ 测试sparkpython 在sparkhome下run-tests测试 在Spark中使用IPython Notebook 当搜索原创 2018-01-20 10:41:42 · 447 阅读 · 0 评论