spark初尝试_codestorm_新浪博客

最近接触了下spark，不说计算性能问题，记录下使用

1. spark依赖于Hadoop，其文件主要可来自于hadoop提供的hdfs，然而apache官方提供预编译好的spark版本集成了hadoop，下载解压直接启动

2. /bin/pyspark      /bin/spark-shell(for scala)   /bin/spark-submit 三个主要的工具，其中介绍pyspark最多，但始终没能运行起来

|--- hostname 不对，改了计算机名 没改hosts里的设置

|--- 改了后master url不对，找不到

|--- 加了--master 显示connect failed.....

submit成功了

|--- ./spark-submit --master spark://localhost:7077 app.py --class lyzApp --num-executors 2

但是设置core数目，appname都没用

3. 不知道pyspark之前是否要先启动master worker，启动后可在localhost:8080 /8081分别监视

future：可以尝试在cloud9上配置集群，提交计算，可能由于网速限制效果不好

## Spark Application - execute with spark-submit

 

## Imports

from pyspark import SparkConf, SparkContext

## Module Constants

APP_NAME = "My Spark Application"

 

## Closure Functions

 

## Main functionality

 

def main(sc):

    pass

 

if __name__ == "__main__":

    

# Configure Spark

    conf = SparkConf().setAppName(APP_NAME)

    conf = conf.setMaster("local[*]")

    sc   = SparkContext(conf=conf)

    for i in range(1,100000000):

    for j  in range(1,10000000):

 #   print '----------------------------------------------------------------------'

  a = 12993.232+393/393.3-238

 

    

# Execute Main functionality

    main(sc)

#./spark-submit --master local[*] test.py --class lyzApp --num-executors 2