Spark
天空win
技术爱好者
展开
-
Spark学习总结一 单词计数
一、场景:统计文件单词个数二、Scala代码实现:package cn.com.git.scala.spark.testimport org.apache.spark._import org.apache.spark.SparkContext._import org.apache.spark.rdd.RDD.rddToPairRDDFunctionsobject原创 2017-08-02 15:37:09 · 662 阅读 · 0 评论 -
Spark学习总结二 SparkSql操作文本数据
一、场景:操作文本数据 1、本地文件路径 E:\\temp\\demo.txt 2、内容 machao 29 shizhongyu 32 baiwanjian 28 zhaolinger 30二、SparkSql代码实现package cn.com.git.scala.原创 2017-08-02 15:48:21 · 2549 阅读 · 0 评论 -
Spark学习总结三 SparkSql操作elasticsearch
一·、场景:Spark操作es数据环境版本:Spark2.0.*、elasticsearch5.0.0、Scala2.11.*二、代码实现工程需添加spark依赖包及elasticsearch-spark-20_2.11-5.00.jar;elasticseaerch-spark插件包可以从https://www.elastic.co/downloads/hadoop下载;原创 2017-08-02 15:58:27 · 4987 阅读 · 1 评论