spark
xiaoshu_yilian
#为了早点下班陪闺女
我们的追求各有不同,但都希望能在有限的人生里,快速通往自己向往的目的地。
展开
-
快速入门pyspark(总结)
import findsparkfindspark.init()import pysparkfrom pyspark.sql import SparkSessionspark=SparkSession.builder.appName(‘data_processing’).getOrCreate()df=spark.read.csv(‘dwd_jv_item_batch_verification_fbi_hf.csv’,inferSchema=True,header=True)print(df原创 2022-05-10 14:54:25 · 569 阅读 · 0 评论 -
如何在windows下搭建spark环境(收藏不迷路)
一、下载安装操作1、下载安装jdk8(jdk1.8版本):下载地址(需要oracle账号)https://www.oracle.com/java/technologies/javase/javase-jdk8-downloads.html本地点击exe文件安装,安装目录为C:\java2、下载安装scala下载地址:https://www.scala-lang.org/download/2.11.12.html本地点击msi文件安装,安装目录为D:\scala3、下载安装hadoop下载原创 2021-03-02 17:26:17 · 797 阅读 · 1 评论