pyspark学习----单词计数小Demo

通过创建SparkConf对象来配置应用，然后基于这个SparkConf创建一个SparkContext对象。驱动器程序通过SparkContext对象来访问Spark。这个对象代表对计算集群的一个连接。一旦有了SparkContext， 就可以用它来创建RDD。

ssh远程访问Linux下的Python解释器

#conding:utf8
from pyspark import SparkConf,SparkContext
from pyspark import conf, context
if __name__ == '__main__':
    conf = SparkConf().setMaster("local[*]").setAppName("wordCountHelloWorld")
    #通过SparkConf对象构建SparkContext对象
    sc = SparkContext(conf=conf)
    file_rdd=sc.textFile("hdfs://192.168.88.161:8020/test/input/wordcount.txt")
    words_rdd=file_rdd.flatMap(lambda  line: line.split(" "))
    words_with_one_rdd=words_rdd.map(lambda x:(x,1))
    result_rdd=words_with_one_rdd.reduceByKey(lambda a,b:a+b)
    print(result_rdd.collect())

 

 pycharm远程查看Linux中文件夹

访问本地的windows的anaconda3——Python解释器，需要安装各种包

pip install pyspark pyhive pymysql jieba -i https://pypi.tuna.tsinghua.edu.cn/simple

在anaconda prompt中安装PySpark环境：

conda create -n pyspark python=3.8

 安装过慢可选用清华镜像源，在windows用户文件夹下创建.condarc文本文件中

channels:
  - defaults
show_channel_urls: true
default_channels:
  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main
  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/r
  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/msys2
custom_channels:
  conda-forge: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
  msys2: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
  bioconda: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
  menpo: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
  pytorch: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
  simpleitk: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud

安装PySpark包

pip install pyspark pyhive pymysql jieba -i https://pypi.tuna.tsinghua.edu.cn/simple

后续在pycharm中配置环境……