大数据
君羊416
这个作者很懒,什么都没留下…
展开
-
pyspark 下载配置以及简单的使用
写在前面 在用Windows学习spark时候,希望利用pyspark的api进行编程,记录一下安装以及踩坑的地方 步骤 1. 安装jdk8 2. 配置jdk8的环境变量 3. 安装anaconda 4. 用conda install -c conda-forge pyspark 这句话安装 第4步有个坑,用conda install pyspark安装以后,spark总是起不来 ...原创 2019-07-04 16:02:38 · 2641 阅读 · 0 评论 -
pyspark中RDD基本操作
写在前面 系统为ubuntu, spark为pyspark 一. 简单配置和读取txt,并打印 这里我们定义一个任务: 从txt中读取文件,并打印文件的每一行 from pyspark import SparkConf, SparkContext import os # 这里配置spark对用的python版本,如果版本不一致就会报错 os.environ["PYSPARK_PYTHO...原创 2019-08-14 17:51:58 · 1330 阅读 · 0 评论