![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
scala函数问题
ntr亚丝娜(我永远喜欢千花书记)
?(。ヘ°)我的人工智能不可能这么智障ψ(*`ー´)ψ
展开
-
在Scala中使用StreamingContext.getActiveOrCreate遇到的坑
本次问题仅用于scala生产环境当我们在现实生产活动中尤其是在处理实时数据都难免会遇到某些特殊原因导致宕机,而当我们重新接收并处理的数据需要进行计算结果联系时,这种情况将会十分严重,因为宕机后之前在缓存数据都将在重启后消失.这就会导致计算结果产生误差.因此这里我们使用StreamingContext.getActiveOrCreate和ssc.checkpoint函数来处理,大体过程如下:v...原创 2019-01-21 09:47:50 · 1189 阅读 · 0 评论 -
Spark ml 或 mlib 常用便利函数方法与常忽略的问题
****************spark**************一、样本数据转换处理虽然是多余的话语,但是还是得提醒各位,mllib和ml的Vector类是不一样的!(一)格式转换对于原始数据中的字符变量,我们可以通过自定义装换方法或者导入HashTF()装换,后者方法具体操作如下:import org.apache.spark.ml.feature.HashingTF...原创 2019-04-01 11:02:57 · 290 阅读 · 0 评论