Win7 pySpark安装

转载 2017年01月03日 14:22:25

目录(?)[+]
  1. 安装
  2. pyCharm wordCount示例
  3. pySpark学习地址

1.序

由于笔者目前用Python比较多,所以想安装下pySpark,并且在pyCharm中调用。
(1)jdk-8u91-windows-x64.exe
(2)spark-1.3.0-bin-hadoop2.4.tgz

2.安装

(1)jdk默认安装
(2)spark-1.3.0-bin-hadoop2.4.tgz先进行解压。假设目录为E:\spark-1.3.0-bin-hadoop2.4
(3)配置环境变量Path,添加E:\spark-1.3.0-bin-hadoop2.4\bin。这时,你可以利用打开cmd,输入pySpark。没有问题的话,你可以看到下图

(4)要想在PyCharm中调用pySpark,需要加载包。将E:\spark-1.3.0-bin-hadoop2.4\python文件夹下pySpark文件夹拷贝到C:\Anaconda2\Lib\site-packages**(注:我的python安装目录是这个路径,可能有的读者是C:\Python27\Lib\site-packages)**

3.pyCharm wordCount示例

  • 新建wordCount.py文件,写代码
import sys
from operator import add

from pyspark import SparkContext


if __name__ == "__main__":
    sc = SparkContext(appName="PythonWordCount")
    lines = sc.textFile('words.txt')
    counts = lines.flatMap(lambda x: x.split(' ')) \
                  .map(lambda x: (x, 1)) \
                  .reduceByKey(add)
    output = counts.collect()
    for (word, count) in output:
        print "%s: %i" % (word, count)

    sc.stop()
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 代码中words.txt内容如下
good bad cool
hadoop spark mlib
good spark mlib
cool spark bad
  • 1
  • 2
  • 3
  • 4
  • 1
  • 2
  • 3
  • 4
  • 然后运行,然后报错,哈哈哈

  • 其实是还有一个地方没有配置
    在pyCharm的菜单栏里找到Run => Edit Configurations,点击下面红色标记的地方,添加环境变量。

  • 再次运行,就会得到如下结果

4.pySpark学习地址

(1)http://spark.apache.org/docs/latest/api/python/pyspark.html
(2)在上面解压的文件夹E:\spark-1.3.0-bin-hadoop2.4\examples\src\main\python中有很多示例代码,可以进行学习,本文中的wordCount就是用的上面的代码(进行了一点点修改)。

Win7 pySpark安装

 版权声明:如需转载,请注明出处http://blog.csdn.net/a819825294 目录(?)[+] 序安装pyCharm wordCount示例pySpark学习地...

Win7 pySpark安装

1.序 由于笔者目前用python比较多,所以想安装下pySpark,并且在pyCharm中调用。 (1)jdk-8u91-windows-x64.exe (2)spark-1.3.0-bin-...

Spark在Windows下的环境搭建

由于Spark是用Scala来写的,所以Spark对Scala肯定是原生态支持的,因此这里以Scala为主来介绍Spark环境的搭建,主要包括四个步骤,分别是:JDK的安装,Scala的安装,Spar...

pySpark 在windows下环境搭建

本人系统是windows,64位 要想在windows下搭建Spark(python版本)主要分为: JDK安装配置 Scala安装配置 Spark安装配置 Hadoop安装配置 Python安装配...
  • funfun0
  • funfun0
  • 2017年09月02日 17:40
  • 215

Win7 pySpark安装

 转载:http://blog.csdn.net/a819825294 1.序 由于笔者目前用Python比较多,所以想安装下pySpark,并且在pyCharm中调用。 ...

关于在windows平台下使用ipython运行pyspark的问题

最近读了一本书 ,在第三章中讲到用增强的交互式ipython运行pyspark,也就是用如下命令:                                                  ...
  • KnightX
  • KnightX
  • 2015年11月20日 15:46
  • 2221

win10下安装pyspark

win7、win10下的pyspark的安装

Windows7+Pycharm搭建Spark的开发环境

一般,我都会在Eclipse中安装Scala插件,用Scala语言编写Spark程序,之后将程序导出为JAR文件,再复制到Spark平台上运行,因为XX原因,现在想尝试用python写Spark程序,...
  • cdhnlsj
  • cdhnlsj
  • 2016年03月30日 19:23
  • 6193

解决:win远程连接ubuntu服务器安装jupyter,启动pyspark

ubuntu 16.1.4 win10 x64 X-shell5 目的 win主机远程访问ubuntu服务器,并启动服务器端jupyter在本地进行python和spark调试 步骤 我不...

本地硬盘安装win7/XP系统详细[图解教程]

硬盘安装系统,速度最快。不用使用光盘直接本地安装,连光盘和光盘刻录功夫都生下来了。物价上涨啊,挣钱不容易,来试试吧,这边我就简单说说了,实在太简单了,下面我们以绿茶系统为例。     最新U大侠U盘...
  • thy822
  • thy822
  • 2015年01月25日 10:53
  • 684
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:Win7 pySpark安装
举报原因:
原因补充:

(最多只允许输入30个字)