spark
xiaoshu_yilian
#为了早点下班陪闺女
我们的追求各有不同,但都希望能在有限的人生里,快速通往自己向往的目的地。
展开
-
快速入门pyspark(总结)
import findspark findspark.init() import pyspark from pyspark.sql import SparkSession spark=SparkSession.builder.appName(‘data_processing’).getOrCreate() df=spark.read.csv(‘dwd_jv_item_batch_verification_fbi_hf.csv’,inferSchema=True,header=True) print(df原创 2022-05-10 14:54:25 · 610 阅读 · 0 评论 -
如何在windows下搭建spark环境(收藏不迷路)
一、下载安装操作 1、下载安装jdk8(jdk1.8版本): 下载地址(需要oracle账号) https://www.oracle.com/java/technologies/javase/javase-jdk8-downloads.html 本地点击exe文件安装,安装目录为C:\java 2、下载安装scala 下载地址:https://www.scala-lang.org/download/2.11.12.html 本地点击msi文件安装,安装目录为D:\scala 3、下载安装hadoop 下载原创 2021-03-02 17:26:17 · 815 阅读 · 1 评论