spark java
文章平均质量分 80
徐雄辉
这个作者很懒,什么都没留下…
展开
-
spark java rdd
package com.hand.study;import scala.Tuple2;import org.apache.spark.SparkConf;import org.apache.spark.api.java.JavaPairRDD;import org.apache.spark.api.java.JavaRDD;import org.apache.spark.api.ja...转载 2018-08-09 09:53:54 · 348 阅读 · 0 评论 -
spark与缓存
Spark与缓存预期成果1.1 当前问题当前以图搜图应用存在的问题:当前使用spark RDD方案无法达到数据实时加载(每10分钟加载一次,虽然可配,但太短可能会有问题) Spark RDD内存会被分为两部分,一部分用来缓存数据一部分用来计算,Spark默认配置只有差不多50%的内存用于缓存(也就是说executor配了100G,只有50多G可以被用来做缓存),虽然比例可以进...转载 2018-08-16 09:55:09 · 288 阅读 · 0 评论 -
SparkContext转化为JavaSparkContext
自动Spark2.0发布以来,官方最开始推荐的代码由final SparkConf conf = new SparkConf().setMaster("local").setAppName("---");final JavaSparkContext ctx = new JavaSparkContext(conf);这种形式转化成为了SparkSession spark = Spa...原创 2018-08-16 15:41:51 · 3142 阅读 · 0 评论 -
JavaSpark-sparkSQL
入门 起点:SparkSession Spark中所有功能的入口点就是这个SparkSession类。要创建一个基本的SparkSession,只需使用SparkSession.builder():import org.apache.spark.sql.SparkSession;SparkSession spark = SparkSession .builder() .app...转载 2018-08-17 09:18:43 · 3236 阅读 · 0 评论