用pycharm + python写spark(spark-2.0.1-bin-hadoop2.6)

原创 2017年01月05日 11:05:04

一、将pyspark放入:
在pycharm看位置

该目录位置(我的是mac):
/Library/Python/2.7/site-packages

二、env配置:
步骤1:
配置env1
步骤2:
配置env2
步骤3:
配置env3
SPARK_CLASSPATH
/Users/Chaves/workspace/spark/hbase-0.98.3/lib/:/Users/Chaves/workspace/spark/spark-2.0.1-bin-hadoop2.6/lib/:

SPARK_HOME
/Users/Chaves/workspace/spark/spark-2.0.1-bin-hadoop2.6

更多其他pycharm 的详细设计见:http://blog.csdn.net/u013660881/article/details/46777415

三、运行命令:
1,spark 终端运行命令
如本机spark包位置
/Users/个人目录/workspace/spark/spark-2.0.1-bin-hadoop2.6/conf
spark-env.sh

2,修改SPARK_CLASSPATH
2.1,在以下spark的bin目录下运行:
/Users/个人目录/workspace/spark/spark-2.0.1-bin-hadoop2.6/bin

2.2,启动命令(./spark-submit –jars包)
./spark-submit —jars jar包地址 —py-files 工具包 算法文件地址 参数1 参数2 参数3 …nt

2.0与1.0的区别:

spark = SparkSession.builder.master("local").appName("pyspark2_0_1_test").getOrCreate()
sc = self.spark.sparkContext
hc = HiveContext(sc)

....

spark 命令行环境 python

1. 安装python,安装好后查看python版本 $ python --version Python 2.7.6 从下面的pyspark.sh中可以看出,默认是支持2.7的python(spark...
  • henry860916
  • henry860916
  • 2016-01-24 10:09:35
  • 4076

pyspark 经常遇到的问题

problem One py4j.java_gateway: ERROR Error while sending or receiving. ...
  • Tifficial
  • Tifficial
  • 2017-02-01 19:30:32
  • 1759

Windows下单机安装Spark开发环境

机器:windows 10 64位。 因Spark支持java、python等语言,所以尝试安装了两种语言环境下的spark开发环境。 1、Java下Spark开发环境搭建 1.1、...
  • tianlianchao1982
  • tianlianchao1982
  • 2016-04-23 09:15:07
  • 7807

python本地开发spark

笔者最近项目有点杂,什么都做,最近有涉及到spark的mllib上了。 本地没有spark环境,但需要调用spark的api。费了一番周折,记录下配置方法。...
  • u012882134
  • u012882134
  • 2017-09-08 14:00:16
  • 756

Hadoop与Spark以及那些坑

这两天在搭建Hadoop与Spark的平台,要求是能够运行Spark,并且用python编程。笔者也不打算写一个很详细的细节教程,简单做一个笔记blog。 1.选择         笔者一开始是在虚拟...
  • qtlyx
  • qtlyx
  • 2016-12-21 20:29:00
  • 1568

Python海量数据处理之_Hadoop&Spark

本篇将介绍Hadoop+Spark的安装配置及如何用Python调用Spark。
  • xieyan0811
  • xieyan0811
  • 2017-12-26 16:27:20
  • 304

Spark及HDFS环境下使用python的wordcount实例

一 前言 本文基于hadoop及spark完全分布式环境,详情查看以下文章: 1 Hadoop环境 2 spark环境 二 实例 代码默认存放路径:/usr/local/work 1.在HDFS...
  • sinat_33741547
  • sinat_33741547
  • 2017-01-24 17:17:00
  • 2119

Spark+Python+Pycharm在Windows下的配置

初次学习在大数据平台下做数据分析和数据挖掘,之前主要是在MATLAB上在一些数据分析,虽然很熟悉了,然而受速度和方便程度的影响,毕竟还是不太方便做实时的、集群的、超大数据量的分析,因此决定放下用了6年...
  • ydq1206
  • ydq1206
  • 2016-07-16 01:01:40
  • 10566

以hdfs上文件或者本地文件作为输入在Pycharm中运行spark程序代码示例

以hdfs上文件或者本地文件作为输入在Pycharm中运行spark程序,并将计算结果保存到hdfs上的python代码示例(1)准备输入数据文件:准备输入数据文件2017-11-01.txt和201...
  • helloxiaozhe
  • helloxiaozhe
  • 2017-11-07 19:39:14
  • 206

Python IDE:PyCharm中的那些实用功能

到目前为止,我用Eclipse已经有一些年头了,大部分的时间都是用来写Python(安装Pydev插件)以及C++(安装CDT插件)。 最近我从一个好友那听说了PyCharm以及它新的免费社区版...
  • GarfieldEr007
  • GarfieldEr007
  • 2016-12-25 21:52:25
  • 2545
收藏助手
不良信息举报
您举报文章:用pycharm + python写spark(spark-2.0.1-bin-hadoop2.6)
举报原因:
原因补充:

(最多只允许输入30个字)