pyspark RDD编程

公司测试环境的CDH 装了spark2.3.0，正好清明节有时间来学习用python来编写spark程序

环境：

python3.6.5  用的是Anaconda3-5.2.0-Windows-x86_64中的python，主要是anaconda自带了许多python库

spark2.3.0  pip install pyspark==2.3.0 安装即可

pycharm

 

官方文档：

http://spark.apache.org/docs/2.3.0/rdd-programming-guide.html

from pyspark import SparkContext, SparkConf

conf = SparkConf().setAppName(appName).setMaster(master)
sc = SparkContext(conf=conf)

首先，需要导入SparkContext, SparkConf

SparkConf中配置了spark应用的name，配置应用使用的运行模式（是用yarn还是mesos,或者是standalone、本地模式），官方建议的最佳实践是master不要在代码中硬编码，而是在用spark-submit 命令行提交应用的时候去指定：

./bin/spark-submit \
  --class <main-class> \
  --master <master-url> \
  --deploy-mode <deploy-mode> \
  --conf <key>=<value> \
  ... # other options
  <application-jar> \
  [application-arguments]

 

那么，根据官方文档，一个简单的demo如下：

 

以下是wordcount 的小demo，文件使用参数的形式传入：

 

 

 

转载于:https://www.cnblogs.com/tianyafu/p/10667675.html