![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
SPARK
邢时
这个作者很懒,什么都没留下…
展开
-
LinkedList转化为数组
LinkedList用于添加,删除元素。添加,删除之后下一步取可以将它转化为数组val result_value_list = new util.LinkedList[String]val result_str = asScalaBuffer(result_value_list).toArray原创 2020-05-22 11:28:55 · 1786 阅读 · 0 评论 -
Json数据怎么取
1.先转化为JsonObjectJSONObject jobj = JSON.parseObject((String) o);2.如果只有一个值String key =jobj.keySet().toArray()[0].toString;3.取所有for (Object key : jobj.keySet().toArray()) {String jobj_to_value = jobj.get(to).toString();}原创 2020-05-21 12:05:24 · 1183 阅读 · 0 评论 -
spark将json转化为map
object JsonUtil extends App {/** * 将map转为json * @param map 输入格式 mutable.Map[String,Object] * @return */def map2Json(map: mutable.Map[String, Object]): String = {val jsonString = JSONObject.toJSONString(map)jsonString}/* * 将json转化为Map * @param json原创 2020-05-21 11:53:53 · 896 阅读 · 0 评论 -
自己定义何时抛出异常
int i=0;if(i==0){throw new Exception(" I= 0");}原创 2020-05-11 13:55:30 · 109 阅读 · 0 评论 -
spark开发时,添加、删除多的时候用LinkedList。查找的时候用array
val list= new util.LinkedList[String]list.add(“1”)var array=asScalaBuffer(list).toArray原创 2020-04-08 19:09:32 · 117 阅读 · 0 评论 -
spark算子算pv、uv
rdd.filter(line=>{(line.split("\t")(1).startsWith(“2_”) && line.split("\t")(3).split(",").length > 0)}).map(line =>{val value = line.split("\t")val pv = Integer.valueOf(value...原创 2020-01-03 12:42:58 · 91 阅读 · 0 评论 -
常用spark的算子
val conf = new SparkConf()conf.setAppName(“Matrix_Icon_Models20191215_”+date)val sc = new SparkContext(conf)val rdd =sc.textFile(reqdata,2000).filter(line => (!line.split("\t")(0).equals(""))...原创 2020-01-03 11:24:33 · 231 阅读 · 0 评论 -
spark程序scala案例
def main(args: Array[String]): Unit = {val date = args(0)//afs://xingtian.afs.baidu.com:9902/app/insight/lbs/lbs_mobile_matrix_user_daily/event_day=20191201/event_type=matrix_stat_daily/000099_0val...原创 2019-12-25 11:44:18 · 520 阅读 · 0 评论 -
执行spark程序
执行spark任务通过shell脚本#!/bin/shexport LANG=“en_US.UTF-8”#基准时间 当天日期day=date -d "$BASETIME" +"%Y%m%d"#Spark目录,xingtian集群SPARK_HOME="/home/map/spark-client/xingtian"#SPARK_HOME="/home/map/spark-clien...原创 2019-12-25 11:20:30 · 89 阅读 · 0 评论 -
Spark调度
Spark有驱动器(Driver),执行器(Executor).Driver将RDD拆成task,(每个task相当于partition)。Driver将partition1,partition2,partition3…,分发给Executor,Executor执行task.task通过转化或者行动组成一条逻辑链,每个task再按照这条链运行时互不影响。Executor有2个作用,运行成功...原创 2019-11-14 17:30:52 · 72 阅读 · 0 评论