hadoop submit python 脚本

进入 spark 目录下 创建 test.py 文件

#!/usr/bin/python

# -*- coding: utf-8 -*-
from pyspark import *
def test():
    sc = SparkContext('spark://xxxxxx:7077','master-test')
    print sc
    textFile = sc.textFile("hdfs://master:9000/input/text1.txt")
    print textFile.count()
    print textFile.first()


if __name__ == '__main__':

    test()

执行 ./bin/spark-submit test.py

遇到的问题 ： web 访问 xxxxx:8080 没有看到相关 提交记录 和正在运行的任务

解决方案 ： 原来的代码： sc = SparkContext('local','master-test') 本地运行 改成 对于 的master 地址 就OK了