解决pyspark无法导入的问题

下载spark-2.2.0-bin-hadoop2.7后进入python文件夹

在python文件夹下有pyspark和pyspark.egg-info文件夹,将这两个文件夹放入anaconda所在的文件夹下

我的目录是C:\ProgramData\Anaconda3\Lib\site-packages,放入该文件夹下即可

然后打开pycharm后,在 file ----》  default setting ---》 project interpreter 中指定好anaconda的python解释器

然后写入写入代码

from pyspark.sql import SparkSession

问题出现:会报     No module named 'pyspark.sql'; 'pyspark' is not a package  找不到这个包

出现这个问题有各种解法:看https://stackoverflow.com/questions/42030183/jupyter-pyspark-no-module-named-pyspark

其中有个最简单的方法,我说的是windows环境下的

解决方法:

1  cmd  ----》  pip  install  findspark  

2  代码中写

import findspark
findspark.init('/path_to_spark/spark-x.x.x-bin-hadoopx.x')
from pyspark.sql import SparkSession
就可以了



  • 2
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值