Spark任务提交使用测试

本文对window7 本地模式下开启spark并测试的过程进行了记录,以下操作确保在安装完成spark和hadoop之后可以测试,其中spark对应的版本为2.4.6,hadoop为2.6,anaconda3-4.2.0-windows-x86_64,python3.5,jdk为1.8(64位)。

1、在spark的安装目录下,打开bin找到spark-shell.cmd,开启spark,开启后在黑框中可以看到spark开启成功的输出,spark开启后可以通过在浏览器打开localhost:4040进行查看和确认。

2、之后通过pycharm调用pyspark编写一个脚本,如下图,将其保存到C:\aa.py

3、cmd进入spark的安装目录下,切换到bin目录下,运行spark-submit --master local /C:/aa.py,其中master后面的local参数可以参考Spark任务提交(Spark Submit) 详细说明。

4、任务提交上去后,在cmd输出中即可查看程序的执行输出。

 

  • 1
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值