spark
文章平均质量分 73
maixia24
大数据、机器学习、区块链
展开
-
Spark入门三部曲之第三步Spark程序的开发和运行及WordCount
Spark入门三部曲之第三步Spark程序的开发和运行及WordCount编写wordcount程序手动导入包:import org.apache.spark.SparkContext._val conf = new SparkConf().setAppName(“wordCount”)// 创建一个Spark Context. val sc = new SparkContext(conf) v原创 2015-08-04 13:05:24 · 1755 阅读 · 0 评论 -
Spark入门三部曲之第二步Spark开发环境搭建
使用Scala+IntelliJ IDEA+Sbt搭建开发环境提示搭建开发环境常遇到的问题:1.网络问题,导致sbt插件下载失败,解决方法,找到一个好的网络环境,或者预先从我提供的网盘中下载jar(链接:http://pan.baidu.com/s/1qWFSTze 密码:lszc)将下载的.ivy2压缩文件,解压后,放到你的用户目录下。2.版本匹配问题,版本不匹配会遇到各种问题,解决方法,按照如下原创 2015-08-04 13:13:01 · 3609 阅读 · 0 评论 -
SparkStreaming和Kafka的整合方式
原创 2018-02-08 15:39:51 · 1138 阅读 · 0 评论 -
Spark入门三部曲之第一步Spark基础知识
Spark运行环境Spark 是Scala写的, 运行在JVM上。所以运行环境是Java6或者以上。 如果想要使用 Python API,需要安装Python 解释器2.6版本或者以上。 目前Spark(1.2.0版本) 与Python 3不兼容。 Spark下载下载地址:http://spark.apache.org/downloads.html,选择Pre-built for H...原创 2015-08-04 13:18:00 · 10620 阅读 · 0 评论