提交Python 代码到Spark

原创 2015年11月21日 15:10:20

没有设置spark环境变量的话:

cd /spark路径/bin
./spark-submit /usr/qy/test_pyspark.py

test_pyspark.py:

#!/usr/bin/env python
# -*- coding: utf-8 -*-

# Wicle Qian
# 2015.11.19
# test the python in Spark without pyspark

from pyspark import *

def test():
    sc = SparkContext('local','qy_test')
    print sc
    textFile = sc.textFile("file:///usr/local/cluster/spark/README.md")
    print textFile.count()
    print textFile.first()

if __name__ == '__main__':
    test()

相关文章推荐

Spark提交应用(Submitting Applications)

提交应用(Submitting Applications)用spark的bin目录下的spark-submit脚本在集群上启动应用。它可以通过统一的接口来管理spark所支持的cluster mana...

spark 集群运行python作业

spark集群运行python作业,pyspark

spark-submit 提交作业到集群

1 IDEA 打包 示例代码参考AMPCamp2015之SparkSQL,开发环境使用idea。首先需要将程序打包成jar 选择project structure --》artif...
  • lzz360
  • lzz360
  • 2016年08月14日 14:56
  • 1836

spark-submit使用及说明

一、命令  1.向spark standalone以client方式提交job。 ? 1 ./spark-submit --master s...

Spark-submit提交任务到集群

1 IDEA 打包 示例代码参考AMPCamp2015之SparkSQL,开发环境使用idea。首先需要将程序打包成jar 选择project structure --》artif...
  • Kinger0
  • Kinger0
  • 2015年06月19日 16:01
  • 57705

运行python版本的Spark程序

使用 spark-submit 解释执行python脚本 使用 python 解释执行python脚本 引入pyspark和py4j这两个模块...
  • houmou
  • houmou
  • 2016年03月18日 17:59
  • 5411

用IntelliJ IDEA提交pyspark程序

在idea上安装Python组件并利用idea写pyspark的程序,然后关联pyspark的源码。

如何运行含spark的python脚本

$ bin/spark-submit first.py-----------first.py-------------------------------from pyspark import Spa...
  • bettesu
  • bettesu
  • 2017年03月29日 21:51
  • 2532

PySpark内部实现

PySpark实现了Spark对于Python的API, 通过它,用户可以编写运行在Spark之上的Python程序, 从而利用到Spark分布式计算的特点。 基本流程 PySpark...

Spark 使用Python在pyspark中运行简单wordcount

Spark入门(Python版) Spark1.0.0 多语言编程之python实现 Spark编程指南(python版)进入到spark目录, 然后采用默认的设置运行pyspark ./b...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:提交Python 代码到Spark
举报原因:
原因补充:

(最多只允许输入30个字)