提交Python 代码到Spark

原创 2015年11月21日 15:10:20

没有设置spark环境变量的话:

cd /spark路径/bin
./spark-submit /usr/qy/test_pyspark.py

test_pyspark.py:

#!/usr/bin/env python
# -*- coding: utf-8 -*-

# Wicle Qian
# 2015.11.19
# test the python in Spark without pyspark

from pyspark import *

def test():
    sc = SparkContext('local','qy_test')
    print sc
    textFile = sc.textFile("file:///usr/local/cluster/spark/README.md")
    print textFile.count()
    print textFile.first()

if __name__ == '__main__':
    test()
版权声明:本文为博主原创文章,未经博主允许不得转载。

相关文章推荐

spark | 学习记录: 启动Scala、python

初学者,记录学习spark的最基本东西,不忘记 在spark下启动scala:./bin/spark-shell测试例子:sc.parallelize(1 to 1000).count()在spark...

Spark提交应用(Submitting Applications)

提交应用(Submitting Applications)用spark的bin目录下的spark-submit脚本在集群上启动应用。它可以通过统一的接口来管理spark所支持的cluster mana...

spark 集群运行python作业

spark集群运行python作业,pyspark

简单Spark作业编写与提交执行

本文分析一个简单的spark作业,编写并使用spark-submit提交执行过程。

spark提交命令详解

本片文章主要结合官网的提交说明进行,详情请看http://spark.apache.org/docs/latest/submitting-applications.html ./bin/spark-s...

Spark集群任务提交

1. 集群管理器 Spark当前支持三种集群管理方式 Standalone—Spark自带的一种集群管理方式,易于构建集群。 Apache Mesos—通用的集群管理,可以在其上运行Hadoop...

Spark提交任务到集群

提交Spark程序到集群与提交MapReduce程序到集群一样,首先要将写好的Spark程序打成jar包,再在Spark-submit下通过命令提交。 Step1:打包程序         通说I...

Spark-submit提交任务到集群

1 IDEA 打包 示例代码参考AMPCamp2015之SparkSQL,开发环境使用idea。首先需要将程序打包成jar 选择project structure --》artif...

在Ambari上用rest提交Spark到Yarn上

系统 JDK版本:jdk1.8.0_66 HDP版本:2.4.2.0-258 Hadoop 版本:Hadoop 2.7.1.2.4.2.0-258 Spark 版本:1.6.0.2.4 前期准...

Spark-1.0.0 standalone分布式安装教程

Spark-1.0.0 standalone分布式安装教程
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:深度学习:神经网络中的前向传播和反向传播算法推导
举报原因:
原因补充:

(最多只允许输入30个字)