spark
文章平均质量分 88
龍尐
这个作者很懒,什么都没留下…
展开
-
Spark Datafream如何将Column.isin与List使用(判断column中的值是否在List中)--filter(Column.isin(List))
spark datafream 中某列的值进行过滤val items = List("a", "b", "c")sqlContext.sql("select c1 from table") .filter($"c1".isin(items)) .collect .foreach(println)直接传入list时报错:...原创 2018-10-24 18:17:20 · 4016 阅读 · 0 评论 -
sbt安装
一、下载sbt安装包从sbt官网下载地址:http://www.scala-sbt.org/download.html下载安装包,以sbt-0.13.13.tgz为例。二、安装1、将下载的二进制包移动到/usr/local目录,解压缩文件包tar zxvf sbt-0.13.13.tgzmv sbt-launcher-packaging-0.13.13 sbt //重命名目录2、创建启动sbt的...转载 2018-03-28 17:16:36 · 643 阅读 · 0 评论 -
CST spark ERROR - Job run failed! java.lang.Exception: java.lang.RuntimeExceptio
11-04-2018 17:22:03 CST spark INFO - Starting job spark at 152343852339411-04-2018 17:22:03 CST spark INFO - azkaban.webserver.url property was not set11-04-2018 17:22:03 CST spark INFO - job JVM ar...原创 2018-04-11 21:50:26 · 2234 阅读 · 0 评论 -
azkaban spark调用sparkpython报错内存不足
java.lang.IllegalArgumentException: System memory 239075328 must be at least 471859200. Please increase heap size using the --driver-memory option or spark.driver.memory in Spark configuration.Xm在传入参数...原创 2018-04-28 09:04:07 · 670 阅读 · 0 评论 -
回归模型的评估指标
回归模型评估有三种方法,分别是:平均绝对值误差、均方误差和R平方值,如表1所示:指标 描述 metrics方法 Mean Absolute Error(MAE) 平均绝对误差 from sklearn.metrics import mean_absolute_error Mean Square Error(MSE) 平均方差 from sklearn...原创 2018-07-14 10:47:19 · 24999 阅读 · 5 评论 -
分类模型评估
一、二分类评估混淆矩阵(ConfusionMatrix)TP:1的预测为1(正确的积极)正确判断FP:0预测为1(错误的积极)错误判断FN:1预测为0(正确的消极)漏判断的TN:0预测为0(错误的消极)成功未判断的准确率(score):预测对的值占预测总的概率(PR)精准率(precision)=TP/(TP+FP)-----目标指标预测正确的的概率(预测股票的涨跌)precision_score...原创 2018-07-14 10:52:39 · 498 阅读 · 0 评论 -
spark-submit-相关配置信息
--master MASTER_URL spark://host:port, mesos://host:port, yarn, or local. --deploy-mode DEPLOY_MODE Whether to launch the driver program locally ("client") or ...原创 2018-10-29 16:22:33 · 148 阅读 · 0 评论 -
YARN REST API
先附官网地址查看指定队列的所有任务:GET http://<rm http address:port>/ws/v1/cluster/apps?queue=dev查看指定任务的详细信息:GET http://<rm http address:port>/ws/v1/cluster/apps/application_1326821518301_0005监控任务:...转载 2018-10-29 17:12:22 · 7700 阅读 · 0 评论 -
Spark 实现简单移动平均值(SMA) - 窗口函数(Window Function
Spark 实现简单移动平均值(SMA) - 窗口函数(Window Function)原文地址:http://n3xtchen.github.io/n3xtchen/spark/2017/01/24/spark200-window-function什么是简单移动平均值简单移动平均(英语:Simple Moving Average,SMA)是某变数之前n个数值的未作加权算术平均。例如,收市...转载 2019-05-29 15:03:18 · 2006 阅读 · 0 评论