用pycharm + python写spark(spark-2.0.1-bin-hadoop2.6)

原创 2017年01月05日 11:05:04

一、将pyspark放入:
在pycharm看位置

该目录位置(我的是mac):
/Library/Python/2.7/site-packages

二、env配置:
步骤1:
配置env1
步骤2:
配置env2
步骤3:
配置env3
SPARK_CLASSPATH
/Users/Chaves/workspace/spark/hbase-0.98.3/lib/:/Users/Chaves/workspace/spark/spark-2.0.1-bin-hadoop2.6/lib/:

SPARK_HOME
/Users/Chaves/workspace/spark/spark-2.0.1-bin-hadoop2.6

更多其他pycharm 的详细设计见:http://blog.csdn.net/u013660881/article/details/46777415

三、运行命令:
1,spark 终端运行命令
如本机spark包位置
/Users/个人目录/workspace/spark/spark-2.0.1-bin-hadoop2.6/conf
spark-env.sh

2,修改SPARK_CLASSPATH
2.1,在以下spark的bin目录下运行:
/Users/个人目录/workspace/spark/spark-2.0.1-bin-hadoop2.6/bin

2.2,启动命令(./spark-submit –jars包)
./spark-submit —jars jar包地址 —py-files 工具包 算法文件地址 参数1 参数2 参数3 …nt

2.0与1.0的区别:

spark = SparkSession.builder.master("local").appName("pyspark2_0_1_test").getOrCreate()
sc = self.spark.sparkContext
hc = HiveContext(sc)

....

相关文章推荐

win10 掿建python spark开发环境.和安装hadoop环境

先说下困绕我的两个问题好了  windows 下运行spark-shell  始终不行,什么鬼 找到原因拉 在spark-class2.cmd 中 把这句话的环境改下...

Spark及HDFS环境下使用python的wordcount实例

一 前言 本文基于hadoop及spark完全分布式环境,详情查看以下文章: 1 Hadoop环境 2 spark环境 二 实例 代码默认存放路径:/usr/local/work 1.在HDFS...

Hadoop与Spark以及那些坑

这两天在搭建Hadoop与Spark的平台,要求是能够运行Spark,并且用python编程。笔者也不打算写一个很详细的细节教程,简单做一个笔记blog。 1.选择         笔者一开始是在虚拟...
  • qtlyx
  • qtlyx
  • 2016年12月21日 20:29
  • 878

Spark+Python+Pycharm在Windows下的配置

初次学习在大数据平台下做数据分析和数据挖掘,之前主要是在MATLAB上在一些数据分析,虽然很熟悉了,然而受速度和方便程度的影响,毕竟还是不太方便做实时的、集群的、超大数据量的分析,因此决定放下用了6年...
  • ydq1206
  • ydq1206
  • 2016年07月16日 01:01
  • 7336

Spark入门(Python版)

转自:Spark入门(Python版),保存在此以学习。 Hadoop是对大数据集进行分布式计算的标准工具,这也是为什么当你穿过机场时能看到”大数据(Big Data)”广告的原因。它已经成为大数据...

如何运行含spark的python脚本

$ bin/spark-submit first.py-----------first.py-------------------------------from pyspark import Spa...
  • bettesu
  • bettesu
  • 2017年03月29日 21:51
  • 2162

spark 2.0.1 和zeppelin 0.6.2 编译及与hadoop yarn关联

以下是工作学习过程中对spark 2.0.1 和zeppeline 0.6.2的编译和关联的步骤及踩到的坑。...

Spark2.0.1 on yarn with hue 集群搭建部署(五)hue安装支持hadoop

编译hue,hue元数据管理
  • dockj
  • dockj
  • 2016年11月24日 00:44
  • 915

spark-2.1.0-bin-without-hadoop

  • 2017年10月26日 18:16
  • 100MB
  • 下载
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:用pycharm + python写spark(spark-2.0.1-bin-hadoop2.6)
举报原因:
原因补充:

(最多只允许输入30个字)