Anaconda虚拟环境下安装pyspark

python=3.6.8

1.conda install pyspark

2.安装spark低版本(spark-2.4.8-bin-hadoop2.7)

3.配置spark环境(SPARK_HOME/bin)

4.安装java8(环境配置JAVA_HOME/bin)

5.官网安装hadoop(hadoop-3.2.3)

6.github下载对应hadoop版本的winutils.exe黏贴到hadoop的bin目录(3.2.1)

7.打开anaconda虚拟环境,直接输入pyspark命令检查是否报错

8.安装jupyter notebook

9.conda安装findspark

10.重启jupyter的kernel,必须重启。导入pyspark前加两行代码即可

import findspark
findspark.init()


import pyspark
from pyspark.sql import *
from pyspark.sql.functions import *
from pyspark.sql.types import IntegerType, FloatType
from pyspark.sql import functions as F
from pyspark import SparkContext, SparkConf

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值