python开发spark怎么跑_spark能跑Python么

spark能跑Python么？

spark是可以跑Python程序的。python编写好的算法，或者扩展库的，比如sklearn都可以在spark上跑。直接使用spark的mllib也是可以的，大部分算法都有。

Spark 是一个通用引擎，可用它来完成各种各样的运算，包括 SQL 查询、文本处理、机器学习等。

本次实验是搭有spark环境的linux下跑的，spark版本为1.6.1，相当于在在spark本地执行，spark文件放在/opt/moudles/spark-1.6.1/(代码中会看到)

编写python测试程序#test.py文件# -*- coding:utf-8 -*-import osimport sys#配置环境变量并导入pysparkos.environ['SPARK_HOME'] = r'/opt/moudles/spark-1.6.1'sys.path.append("/opt/moudles/spark-1.6.1/python")sys.path.append("/opt/moudles/spark-1.6.1/python/lib/py4j-0.9-src.zip")from pyspark import SparkContext, SparkConfappName ="spark_1" #应用程序名称master= "spark://hadoop01:7077"#hadoop01为主节点hostname，请换成自己的主节点主机名称conf = SparkConf().setAppName(appName).setMaster(master)sc = SparkContext(conf=conf)data = [1, 2, 3, 4, 5]distData = sc.parallelize(data)res = distData.reduce(lambda a, b: a + b)print("===========================================")print (res)print("===========================================")

执行python程序

执行如下命令python test.py

执行与结果分别如下图所示：