关闭

提交Python 代码到Spark

标签: pythonspark
2619人阅读 评论(0) 收藏 举报
分类:

没有设置spark环境变量的话:

cd /spark路径/bin
./spark-submit /usr/qy/test_pyspark.py

test_pyspark.py:

#!/usr/bin/env python
# -*- coding: utf-8 -*-

# Wicle Qian
# 2015.11.19
# test the python in Spark without pyspark

from pyspark import *

def test():
    sc = SparkContext('local','qy_test')
    print sc
    textFile = sc.textFile("file:///usr/local/cluster/spark/README.md")
    print textFile.count()
    print textFile.first()

if __name__ == '__main__':
    test()
0
0

查看评论
* 以上用户言论只代表其个人观点,不代表CSDN网站的观点或立场
    个人资料
    • 访问:175362次
    • 积分:3739
    • 等级:
    • 排名:第8629名
    • 原创:180篇
    • 转载:73篇
    • 译文:12篇
    • 评论:8条
    文章分类
    最新评论