hyy_blog

2.spark sql中的group by 在优化时=reducebykey。1.spark core中,网络传输的数据少。distinct 大概率是groupby。

AB实验

【代码】linux安装lightbgm异常。

参考：：Spark2.3（四十）：如何使用java通过yarn api调度spark app，并根据appId监控任务，关闭任务，获取任务日志 - cctext - 博客园

FlinkSql指定时间语义 - 从不吃鱼的猫 - 博客园

参考：Lookalike 技术调研 - 简书

参考：spark中的透视函数pivot - 尤灯塔 - 博客园

private val currentClass = Class.forName("com.compute.biz.clue.streaming.SyncClueStreamingFunctions$")private val currentObj = currentClass.getField("MODULE$").get(null)// 所有方法的map,(methodName->method)private val methodMap = currentClass.getDeclared.

参考：https://www.cnblogs.com/nxf-rabbit75/category/1572700.html?page=1

combinebykey && aggregatebykey

以spark为例：分治 val kafkaManager = new KafkaManager(kafkaParams) val kafkaDirectStream = kafkaManager.createDirectStream[String, String, StringDecoder, StringDecoder](ssc,kafkaParams,topicSet) val res = kafkaDirectStream .filter(l => l._2.c...

task输入倾斜调优：https://www.jianshu.com/p/06a4b2f50940

https://blog.csdn.net/kaede1209/article/details/81145560

参考blog：https://zhuanlan.zhihu.com/p/150361645

hive的高级函数的使用 参考blog：https://www.cnblogs.com/-courage/p/14122106.html

参考：https://www.jianshu.com/p/780ae7c95bde

目标检索：定义：目标生成的特征是唯一的，在各个层次中都会携带这一特征。卷积：就是把这一特征，以新的方式展示出来，方便计算，存储，传输，增强等最后：经过反卷积，解出特征，在与目标进行比对，选择。...

spark的获取文件名称：rdd中获取http://cn.voidcc.com/question/p-yhavvflg-bhx.htmldf中获取还有一个是通过使用functions.input_file_name

特殊的hadoop 1.没有reducer的demo： job.setNumReduceTasks(0);https://blog.csdn.net/boonya/article/details/54630808?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522161242952716780264021789%2522%252C%2522scm%2522%253A%252220140713.130102334.pc%25...

参考：https://www.cnblogs.com/yin-fei/p/10748505.html