<spark> 單機模式之環境創建

1.  入門指南

http://blog.jobbole.com/86232/


2.  ipython 使用spark 環境設置

http://ramhiser.com/2015/02/01/configuring-ipython-notebook-support-for-pyspark/


(錯誤處理)

Q1 沒有讀到設置檔

http://stackoverflow.com/questions/31974797/ipython-notebook-wont-read-the-configuration-file


Q2 py4j.java  error

D:\spark-1.6.2-bin-hadoop2.6\python\lib\py4j-0.9-src.zip

http://stackoverflow.com/questions/26533169/why-cant-pyspark-find-py4j-java-gateway


Q3  import error   no module name pyspark

http://stackoverflow.com/questions/23256536/importing-pyspark-in-python-shell


Q4 進入方式

配置环境变量Path,添加E:\spark-1.3.0-bin-hadoop2.4\bin。这时,你可以利用打开cmd,输入pySpark

http://blog.csdn.net/a819825294/article/details/51782773


3. LINUX 環境 需添加


http://www.cnblogs.com/onetwo/p/5424377.html


MASTER_IP = "127.0.0.1"

LOCAL_IP = "127.0.0.1"





  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值