在windows 环境用pycharm开发pyspark项目

    最近家里新买了台电脑,环境什么的又得重新安装,干脆沉淀下一篇博客记录下整个过程,省得再去搜索。

    在windows环境用pycharm开发pyspark首先我们得知道什么是pyspark。首先Apache Spark用Scala编程语言编写。为了支持带有Spark的Python,Apache Spark社区发布了一个工具PySpark。使用PySpark,你就可以使用Python编程语言来处理RDD。正是由于有了一个名为Py4j的库,他们才能够实现这一目标。

步骤一:配置环境

          1、第一因为spark需要在jvm中运行,所以jdk是必须安装得,我配置得java版本是1.8.0_144;

          2、第二安装spark版本2.44下载链接,下载后直接解压到D盘根目录下;

          3、第三安装python,我安装得是版本3.7.2

步骤二:pycharm创建项目并添加

          1、打开pycharm-(左上角)file---settings--Project Interpreter--选择你的python环境

               

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值