Spark-ts 时序 三次指数平滑，偶尔报错： trust region step has failed to reduce Q

最新推荐文章于 2024-04-17 23:48:23 发布
最新推荐文章于 2024-04-17 23:48:23 发布
阅读量846 收藏
点赞数
分类专栏： 时序预测 HoltWinters 文章标签： spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wc188996/article/details/105636476
版权

org.apache.commons.math3.exception.MathIllegalStateException: trust region step has failed to reduce Q

这个错误出现的很随意，纯属偶发，我的程序离线加载了几千点的数据，并逐点的进行三次指数平滑预测。在运行了几百次之后会报出如下错误。 

sparkts-0.4.0
holterwinters model

org.apache.commons.math3.exception.MathIllegalStateException: trust region step has failed to reduce Q
at org.apache.commons.math3.optim.nonlinear.scalar.noderiv.BOBYQAOptimizer.bobyqb(BOBYQAOptimizer.java:867)
at org.apache.commons.math3.optim.nonlinear.scalar.noderiv.BOBYQAOptimizer.bobyqa(BOBYQAOptimizer.java:329)
at org.apache.commons.math3.optim.nonlinear.scalar.noderiv.BOBYQAOptimizer.doOptimize(BOBYQAOptimizer.java:241)
at org.apache.commons.math3.optim.nonlinear.scalar.noderiv.BOBYQAOptimizer.doOptimize(BOBYQAOptimizer.java:49)
at org.apache.commons.math3.optim.BaseOptimizer.optimize(BaseOptimizer.java:153)
at org.apache.commons.math3.optim.BaseMultivariateOptimizer.optimize(BaseMultivariateOptimizer.java:65)
at org.apache.commons.math3.optim.nonlinear.scalar.MultivariateOptimizer.optimize(MultivariateOptimizer.java:63)
at tt1.HoltWinters$.fitModelWithBOBYQA(HoltWinters.scala:32)
at tt1.HoltWinters$.fitModel(HoltWinters.scala:13)
at tt1.TimeSeriesModel$$anonfun$1.apply(TimeSeriesModel.scala:40)
at tt1.TimeSeriesModel$$anonfun$1.apply(TimeSeriesModel.scala:37)
at scala.collection.Iterator$$anon$11.next(Iterator.scala:328)
at scala.collection.Iterator$$anon$11.next(Iterator.scala:328)
at scala.collection.Iterator$class.foreach(Iterator.scala:727)
at scala.collection.AbstractIterator.foreach(Iterator.scala:1157)
at org.apache.spark.rdd.RDD$$anonfun$foreach$1$$anonfun$apply$34.apply(RDD.scala:919)
at org.apache.spark.rdd.RDD$$anonfun$foreach$1$$anonfun$apply$34.apply(RDD.scala:919)
at org.apache.spark.SparkContext$$anonfun$runJob$5.apply(SparkContext.scala:1881)
at org.apache.spark.SparkContext$$anonfun$runJob$5.apply(SparkContext.scala:1881)
at org.apache.spark.scheduler.ResultTask.runTask(ResultTask.scala:66)
at org.apache.spark.scheduler.Task.run(Task.scala:89)
at org.apache.spark.executor.Executor$TaskRunner.run(Executor.scala:214)
at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142)
at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617)
at java.lang.Thread.run(Thread.java:745)
18/04/02 15:09:59 WARN TaskSetManager: Lost task 127.0 in stage 798.0 (TID 32922, localhost): org.apache.commons.math3.exception.MathIllegalStateException: trust region step has failed to reduce Q
at org.apache.commons.math3.optim.nonlinear.scalar.noderiv.BOBYQAOptimizer.bobyqb(BOBYQAOptimizer.java:867)
at org.apache.commons.math3.optim.nonlinear.scalar.noderiv.BOBYQAOptimizer.bobyqa(BOBYQAOptimizer.java:329)
at org.apache.commons.math3.optim.nonlinear.scalar.noderiv.BOBYQAOptimizer.doOptimize(BOBYQAOptimizer.java:241)
at org.apache.commons.math3.optim.nonlinear.scalar.noderiv.BOBYQAOptimizer.doOptimize(BOBYQAOptimizer.java:49)
at org.apache.commons.math3.optim.BaseOptimizer.optimize(BaseOptimizer.java:153)
at org.apache.commons.math3.optim.BaseMultivariateOptimizer.optimize(BaseMultivariateOptimizer.java:65)
at org.apache.commons.math3.optim.nonlinear.scalar.MultivariateOptimizer.optimize(MultivariateOptimizer.java:63)
at tt1.HoltWinters$.fitModelWithBOBYQA(HoltWinters.scala:32)
at tt1.HoltWinters$.fitModel(HoltWinters.scala:13)
at tt1.TimeSeriesModel$$anonfun$1.apply(TimeSeriesModel.scala:40)
at tt1.TimeSeriesModel$$anonfun$1.apply(TimeSeriesModel.scala:37)
at scala.collection.Iterator$$anon$11.next(Iterator.scala:328)
at scala.collection.Iterator$$anon$11.next(Iterator.scala:328)
at scala.collection.Iterator$class.foreach(Iterator.scala:727)
at scala.collection.AbstractIterator.foreach(Iterator.scala:1157)
at org.apache.spark.rdd.RDD$$anonfun$foreach$1$$anonfun$apply$34.apply(RDD.scala:919)
at org.apache.spark.rdd.RDD$$anonfun$foreach$1$$anonfun$apply$34.apply(RDD.scala:919)
at org.apache.spark.SparkContext$$anonfun$runJob$5.apply(SparkContext.scala:1881)
at org.apache.spark.SparkContext$$anonfun$runJob$5.apply(SparkContext.scala:1881)
at org.apache.spark.scheduler.ResultTask.runTask(ResultTask.scala:66)
at org.apache.spark.scheduler.Task.run(Task.scala:89)
at org.apache.spark.executor.Executor$TaskRunner.run(Executor.scala:214)
at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142)
at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617)
at java.lang.Thread.run(Thread.java:745)

18/04/02 15:09:59 ERROR TaskSetManager: Task 127 in stage 798.0 failed 1 times; aborting job
Exception in thread "main" org.apache.spark.SparkException: Job aborted due to stage failure: Task 127 in stage 798.0 failed 1 times, most recent failure: Lost task 127.0 in stage 798.0 (TID 32922, localhost): org.apache.commons.math3.exception.MathIllegalStateException: trust region step has failed to reduce Q
at org.apache.commons.math3.optim.nonlinear.scalar.noderiv.BOBYQAOptimizer.bobyqb(BOBYQAOptimizer.java:867)
at org.apache.commons.math3.optim.nonlinear.scalar.noderiv.BOBYQAOptimizer.bobyqa(BOBYQAOptimizer.java:329)
at org.apache.commons.math3.optim.nonlinear.scalar.noderiv.BOBYQAOptimizer.doOptimize(BOBYQAOptimizer.java:241)
at org.apache.commons.math3.optim.nonlinear.scalar.noderiv.BOBYQAOptimizer.doOptimize(BOBYQAOptimizer.java:49)
at org.apache.commons.math3.optim.BaseOptimizer.optimize(BaseOptimizer.java:153)
at org.apache.commons.math3.optim.BaseMultivariateOptimizer.optimize(BaseMultivariateOptimizer.java:65)
at org.apache.commons.math3.optim.nonlinear.scalar.MultivariateOptimizer.optimize(MultivariateOptimizer.java:63)
at tt1.HoltWinters$.fitModelWithBOBYQA(HoltWinters.scala:32)
at tt1.HoltWinters$.fitModel(HoltWinters.scala:13)
at tt1.TimeSeriesModel$$anonfun$1.apply(TimeSeriesModel.scala:40)
at tt1.TimeSeriesModel$$anonfun$1.apply(TimeSeriesModel.scala:37)
at scala.collection.Iterator$$anon$11.next(Iterator.scala:328)
at scala.collection.Iterator$$anon$11.next(Iterator.scala:328)
at scala.collection.Iterator$class.foreach(Iterator.scala:727)
at scala.collection.AbstractIterator.foreach(Iterator.scala:1157)
at org.apache.spark.rdd.RDD$$anonfun$foreach$1$$anonfun$apply$34.apply(RDD.scala:919)
at org.apache.spark.rdd.RDD$$anonfun$foreach$1$$anonfun$apply$34.apply(RDD.scala:919)
at org.apache.spark.SparkContext$$anonfun$runJob$5.apply(SparkContext.scala:1881)
at org.apache.spark.SparkContext$$anonfun$runJob$5.apply(SparkContext.scala:1881)
at org.apache.spark.scheduler.ResultTask.runTask(ResultTask.scala:66)
at org.apache.spark.scheduler.Task.run(Task.scala:89)
at org.apache.spark.executor.Executor$TaskRunner.run(Executor.scala:214)
at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142)
at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617)
at java.lang.Thread.run(Thread.java:745)

Driver stacktrace:
at org.apache.spark.scheduler.DAGScheduler.org$apache$spark$scheduler$DAGScheduler$$failJobAndIndependentStages(DAGScheduler.scala:1431)
at org.apache.spark.scheduler.DAGScheduler$$anonfun$abortStage$1.apply(DAGScheduler.scala:1419)
at org.apache.spark.scheduler.DAGScheduler$$anonfun$abortStage$1.apply(DAGScheduler.scala:1418)
at scala.collection.mutable.ResizableArray$class.foreach(ResizableArray.scala:59)
at scala.collection.mutable.ArrayBuffer.foreach(ArrayBuffer.scala:47)
at org.apache.spark.scheduler.DAGScheduler.abortStage(DAGScheduler.scala:1418)
at org.apache.spark.scheduler.DAGScheduler$$anonfun$handleTaskSetFailed$1.apply(DAGScheduler.scala:799)
at org.apache.spark.scheduler.DAGScheduler$$anonfun$handleTaskSetFailed$1.apply(DAGScheduler.scala:799)
at scala.Option.foreach(Option.scala:236)
at org.apache.spark.scheduler.DAGScheduler.handleTaskSetFailed(DAGScheduler.scala:799)
at org.apache.spark.scheduler.DAGSchedulerEventProcessLoop.doOnReceive(DAGScheduler.scala:1640)
at org.apache.spark.scheduler.DAGSchedulerEventProcessLoop.onReceive(DAGScheduler.scala:1599)
at org.apache.spark.scheduler.DAGSchedulerEventProcessLoop.onReceive(DAGScheduler.scala:1588)
at org.apache.spark.util.EventLoop$$anon$1.run(EventLoop.scala:48)
at org.apache.spark.scheduler.DAGScheduler.runJob(DAGScheduler.scala:620)
at org.apache.spark.SparkContext.runJob(SparkContext.scala:1855)
at org.apache.spark.SparkContext.runJob(SparkContext.scala:1868)
at org.apache.spark.SparkContext.runJob(SparkContext.scala:1881)
at org.apache.spark.SparkContext.runJob(SparkContext.scala:1952)
at org.apache.spark.rdd.RDD$$anonfun$foreach$1.apply(RDD.scala:919)
at org.apache.spark.rdd.RDD$$anonfun$foreach$1.apply(RDD.scala:917)
at org.apache.spark.rdd.RDDOperationScope$.withScope(RDDOperationScope.scala:150)
at org.apache.spark.rdd.RDDOperationScope$.withScope(RDDOperationScope.scala:111)
at org.apache.spark.rdd.RDD.withScope(RDD.scala:323)
at org.apache.spark.rdd.RDD.foreach(RDD.scala:917)
at tt1.TimeSeriesModel.holtWintersModelTrain(TimeSeriesModel.scala:60)
at tt1.RunModel$$anonfun$2.apply(RunModel.scala:171)
at tt1.RunModel$$anonfun$2.apply(RunModel.scala:100)
at scala.collection.IndexedSeqOptimized$class.foreach(IndexedSeqOptimized.scala:33)
at scala.collection.mutable.ArrayOps$ofRef.foreach(ArrayOps.scala:108)
at tt1.RunModel$.main(RunModel.scala:99)
at tt1.RunModel.main(RunModel.scala)
Caused by: org.apache.commons.math3.exception.MathIllegalStateException: trust region step has failed to reduce Q
at org.apache.commons.math3.optim.nonlinear.scalar.noderiv.BOBYQAOptimizer.bobyqb(BOBYQAOptimizer.java:867)
at org.apache.commons.math3.optim.nonlinear.scalar.noderiv.BOBYQAOptimizer.bobyqa(BOBYQAOptimizer.java:329)
at org.apache.commons.math3.optim.nonlinear.scalar.noderiv.BOBYQAOptimizer.doOptimize(BOBYQAOptimizer.java:241)
at org.apache.commons.math3.optim.nonlinear.scalar.noderiv.BOBYQAOptimizer.doOptimize(BOBYQAOptimizer.java:49)
at org.apache.commons.math3.optim.BaseOptimizer.optimize(BaseOptimizer.java:153)
at org.apache.commons.math3.optim.BaseMultivariateOptimizer.optimize(BaseMultivariateOptimizer.java:65)
at org.apache.commons.math3.optim.nonlinear.scalar.MultivariateOptimizer.optimize(MultivariateOptimizer.java:63)
at tt1.HoltWinters$.fitModelWithBOBYQA(HoltWinters.scala:32)
at tt1.HoltWinters$.fitModel(HoltWinters.scala:13)
at tt1.TimeSeriesModel$$anonfun$1.apply(TimeSeriesModel.scala:40)
at tt1.TimeSeriesModel$$anonfun$1.apply(TimeSeriesModel.scala:37)
at scala.collection.Iterator$$anon$11.next(Iterator.scala:328)
at scala.collection.Iterator$$anon$11.next(Iterator.scala:328)
at scala.collection.Iterator$class.foreach(Iterator.scala:727)
at scala.collection.AbstractIterator.foreach(Iterator.scala:1157)
at org.apache.spark.rdd.RDD$$anonfun$foreach$1$$anonfun$apply$34.apply(RDD.scala:919)
at org.apache.spark.rdd.RDD$$anonfun$foreach$1$$anonfun$apply$34.apply(RDD.scala:919)
at org.apache.spark.SparkContext$$anonfun$runJob$5.apply(SparkContext.scala:1881)
at org.apache.spark.SparkContext$$anonfun$runJob$5.apply(SparkContext.scala:1881)
at org.apache.spark.scheduler.ResultTask.runTask(ResultTask.scala:66)
at org.apache.spark.scheduler.Task.run(Task.scala:89)
at org.apache.spark.executor.Executor$TaskRunner.run(Executor.scala:214)
at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142)
at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617)
at java.lang.Thread.run(Thread.java:745)
18/04/02 15:10:04 INFO CassandraConnector: Disconnected from Cassandra cluster: Test Cluster
18/04/02 15:10:05 INFO SerialShutdownHooks: Successfully executed shutdown hook: Clearing session cache for C* connector

很是头疼，经过多次地位问题，发现在猜测置信区间的时候， holterwinters会输入 a,b,c 3个参数，参数值为0-1的随机数，这时a,b,c经过计算可能出现除0️⃣的情况，导致程序异常！！！

解决方案：修改HoltWinters.scala  fitModelWithBOBYQA()函数

val initGuess = new InitialGuess(Array(a, b, c))
val maxIter = new MaxIter(30000)
val maxEval = new MaxEval(30000)
val goal = GoalType.MINIMIZE
val bounds = new SimpleBounds(Array(0.0, 0.0, 0.0), Array(1.0, 1.0, 1.0))
var optimal: PointValuePair=null
var params=Array(0D,0D,0D)
try {
optimal = optimizer.optimize(objectiveFunction, goal, bounds, initGuess, maxIter, maxEval)
params = optimal.getPoint
}catch {
case ex:MathIllegalStateException=>{
print("MathIllegalStateException MathIllegalStateException MathIllegalStateException MathIllegalStateException")
fitModelWithBOBYQA(ts,period,modelType)//如果出现错误，从新再运行一次，直到a,b,c计算后不在有异常
}

 这个错误在运行多次后出现，没有规律性！

wc188996
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 18
    评论
专栏目录
Exponential-Smoothing:Scala 中的指数平滑
07-04
Scala 中的指数平滑 （Holt-Winters 方法） Holt-Winters 方法是一种非常流行且有效的时间序列预测方法，但其预测结果根据我们如何初始化方法和我们使用优化参数的方式而有所不同。 由于我们使用 scala 分布式分析 Spark 的 HDFS 系统上的数据，并且您之前可能已经知道，我们使用包“RinScala”在 scala 中使用 R 进行预测。 但这需要集群中的每台分布式机器都安装R，效率不是很高。 我现在在 scala 中找不到这个方法的任何好的实现，所以我继续在 scala 中实现了一个。 主要思想是使用 Hyndman 的指数平滑方法，您可以在网站上找到该方法。 我所做的基本上包括3部分。 *简单的指数平滑。 *趋势加性指数平滑。 *季节性趋势添加剂指数平滑。 目前，我还没有实现乘法方法，如果季节性方差随着数据的增加而增加，乘法方法更好。 如果我有时间，
spark
m0_58421245的博客
11-11 605
、架构设计 1. 架构设计图 ![](F:\大数据笔记\图片\spark架构设计.jpg) 2. 相关术语名称解释 - RDD(Resilient Distributed DataSet) - partiton（分区） - 算子 - transformation类算子 - Action算子 - 窄依赖 - 宽依赖 - Application - Driver - Cluster Manager - WorkerNode - Exector - Task - Job(作业) - Stage（阶段..
nlopt非线性优化算法整理
最新发布
subtitle_的博客
04-17 1634
nlopt非线性优化算法整理
[Spark中移动平均法的实现]
程序车轮
06-24 1万+
一、 基本概念       移动平均法是一种简单平滑预测技术，它的基本思想是：根据时间序列资料、逐项推移，依次计算包含一定项数的序时平均值，以反映短期趋势的方法。因此，当时间序列的数值由于受周期变动和随机波动的影响，起伏较大，不易显示出事件的发展趋势时，使用移动平均法可以消除这些因素的影响，显示出事件的发展方向与趋势（即趋势线），然后依趋势线分析预测序列的中短期趋势。       移动平均法的应用...
sbt的assembly插件使用(打包所有依赖)
weixin_30478619的博客
11-26 460
1.sbt是什么 对于sbt 我也是小白, 为了搞spark看了一下scala，学习scala时指定的构建工具就是sbt（因为sbt也是用scala开发的嘛），起初在我眼里就是一个maven（虽然maven我也没怎么用），后面构建2个项目之后，发现还是蛮强大的，就是学习成本有点高。 哎，但是现在什么东东没有学习成本呢。扯远了，0.13版本的入门之旅参考：http://www.scala-sbt...
spark-timeseries：用于在Apache Spark上进行时间序列分析的库
02-20
Spark时间序列（ spark-ts包） 一个Scala / Java / Python库，用于与Apache Spark上的时间序列数据进行交互。 向发布问题和评论，或将其直接通过发送至 。 注意：spark-ts库不再由我（Sandy）积极开发。 不幸的是，我不再有带宽来开发功能，回答邮件列表中的所有问题或解决所有已提交的错误。 就是说，我仍然很乐意审查拉取请求，并尽我所能来帮助其他人推进图书馆。 可在上找到文档。 或者查看 ， 或 。 目的是提供 一组用于处理大型时间序列数据集的抽象，类似于为 ， 和R的和包中的较小数据集提供的抽象。 可以从统计角度处理时间序列的模型，测试和函数，类似于以及各种Matlab和R软件包中提供的内容。 该库位于其他一些出色的Java和Scala库上。 为NumPy的状，BLAS，能够线性代数。 用于日期和时间。 用于常规数学和统计功
spark-excel：一个用于通过Apache POI读取Excel文件的Spark插件
02-05
.config("spark.jars", "path/to/spark-excel.jar") // 指定 spark-excel 的 jar 包路径 .getOrCreate() val excelDF = spark.read .format("com.crealytics.spark.excel") // 使用 spark-excel 的格式 .option...
apache-doris-spark-connector-2.3_2.11-1.0.1
05-05
Spark Doris Connector（apache-doris-spark-connector-2.3_2.11-1.0.1-incubating-src.tar.gz） Spark Doris Connector Version：1.0.1 Spark Version：2.x Scala Version：2.11 Apache Doris是一个现代MPP分析...
2023-Spark-实验十三：Spark RDD 求员工工资总额
10-16
求员工工资总额样例数据
spark-tpc-ds-performance-test：使用TPC-DS基准测试Spark SQL性能
02-03
本项目“spark-tpc-ds-performance-test”旨在提供一个完整的测试环境，使用Jupyter Notebook来运行TPC-DS的查询，并记录性能指标。Jupyter Notebook作为交互式计算环境，为数据分析和代码调试提供了便利，使得我们...
trust region method
05-15
信赖域算法是求解非线性优化问题的一类重要的数值计算方法,它可以解决非 线性方程(组)、无约束和约束优化以及非光滑优化问题.由于信赖域算法良好的性 质，即强适性和较强的收敛性,因此受到非线性优化研究界的广泛重视.特别是最近 十多年,这种方法已经成为非线性最优化问题研究的一个热点.
区间约束Powell方法寻优代码
03-05
powell方法是计算最值的有效方法，一般情况下是无约束的，目前Powell已发展了一种称为BOBYQA的带区间约束算法。 压缩文件里面optimization.h是无约束powell寻优的一个类，以前在baidu上找到的。powell.h和powell.cpp是带区间约束的powell算法BOBYQA的C++包装,由于BOBYQA算法只能计算二维以上，一维算法是俺自己写的。调用时，一维算法采用ExecuteBrent，二维以上采用BoundedPowell。 BOBYQA目录下是powell方法祖师爷M. J. D. Powell写的FORTRAN代码，powell.lib是俺把Fortran代码编译成的静态库。由于这个lib是Fortran Power Station 4.0做的，msfrt40.dll就成了一个甩不掉的累赘。 如果使用Fortran编程的话，就不需要俺的包装了，直接用Fortran代码吧。 使用方法请参考Fortran代码中main.f，有问题请联系baita00@yahoo.com.cn。 另外链接时好像还需要fps4.0中的msfrt.lib，原来没有加进去，现在加不进去了。需要的话请邮件联系。 鉴于很多同志不清楚用法，下面略加说明。 BoundedPowell函数的参数说明。 第一个参数，待优化函数的指针，这个函数必须定义成_stdcall类型，其本身带有三个参数，第一个参数是优化变量个数，第二个参数是优化变量数组，第三个参数就是函数的值，由于使用Fortran的关系，这几个参数都必须传递地址。 举例说，假定待优化函数为f(x)=x^2，那么只有一个参数，这个函数应该定义为 void _stdcall objfun(int *n, double *para, double *f) { *f=para[0]*para[0]; } 第二个参数int n，待优化计算变量的个数 第三个参数double *x, 待优化变量，这是一个数组，长度为n 第四个参数double *xlb,变量的下界，数组 第五个参数double *xub,变量的上界，数组 第五个参数double rhobeg,第六个参数double rhoend，这两个参数是Powell同志定义的两个半径，具体我也说不清楚，你想搞清楚的话可以搜Powerll同志的文献。一般你把rhobeg设置为1，rhoend设置为计算的精度，比如你希望精度为万分之一，rhoend就为1e-4。 第七个参数int maxfun，最大迭代次数 第八个参数，BOBYQA计算时的返回代码，具体如下 // //BOBYQA iflag返回值的含义： //IFLAG=1, Return from BOBYQA because NPT is not in the required interval //IFLAG=2, Return from BOBYQA because one of the differences XU(I)-XL(I)/6X is less than 2*RHOBEG. //IFLAG=3, Return from BOBYQA because FCN has been called MAXFUN times. //IFLAG=4, Return from BOBYQA because of much cancellation in a denominator. //IFLAG=5, Return from BOBYQA because a trust region step has failed to reduce Q. //
spark-on-k8s-operator：Kubernetes运算符，用于管理Kubernetes上的Apache Spark应用程序的生命周期
02-03
这不是官方支持的Google产品。社区加入我们的频道。... 使用Kubernetes Mutating （在Kubernetes 1.9中成为beta版）实现了对Spark Pod的自定义（例如，安装任意卷和设置Pod亲和力）。 如果您使用Hel
Spark-TimeSeries使用方法
qq_30232405的博客
04-24 1万+
1.spark里面的库是没有时间序列算法的，但是国外有人已经写好了相应的算法。其github网址是:https://github.com/sryza/spark-timeseries   但基本国内没有太多的资料，所以自己想写一个造福一下后来者。   2.github项目里面的Time-Series Data格式： （1）假如有如下的数据格式： 其中timestamp很显然
java 时间序列预测_基于spark的时间序列预测包Sparkts._的使用
weixin_34193979的博客
03-07 1016
最近研究了一下时间序列预测的使用，网上找了大部分的资源，都是使用python来实现的，使用python来实现虽然能满足大部分的需求，但是python有一点缺点按就是只能使用一台计算资源进行计算，如果数据量大的时候，就有可能不能胜任，虽然这种情况很少，但是还是有可能会发生，因此就查了一下spark有没有这方面的资料，没想到还真的有，使用spark集群进行计算速度方面提升明显。首先非常感谢这位博主，我...
异常检测之指数平滑（利用elasticsearch来实现）
weixin_34183910的博客
11-20 526
打开微信扫一扫，关注微信公众号【数据与算法联盟】 转载请注明出处：http://blog.csdn.net/gamer_gyt 博主微博：http://weibo.com/234654758 Github：https://github.com/thinkgamer 指数平滑法是一种特殊的加权平均法，加权的特点是...
指数平滑算法
Dean Chen的专栏
02-02 6855
对时间序列的预测，用的最多的是指数平滑算法，算法不复杂。首先理解一个基本公式：　指数平滑法的基本公式是： 式中，St--时间t的平滑值；yt--时间t的实际值；St − 1--时间t-1的平滑值；a--平滑常数，其取值范围为[0,1]；说明：1. 此公式用t-1时刻的平滑值和t时刻的hi实际值来计算t时刻的平滑值2. a是系数，越接近1的话，远期数据对于计算结果影响越小，越接近0,则影响越大用ne
预测算法——指数平滑法
热门推荐
Nieson2012的专栏
07-21 14万+
指数平滑法是生产预测中常用的一种方法。也用于中短期经济发展趋势预测，所有预测方法中，指数平滑是用得最多的一种。指数平滑法是移动平均法中的一种，其特点在于给过去的观测值不一样的权重，即较近期观测值的权数比较远期观测值的权数要大。根据平滑次数不同，指数平滑法分为一次指数平滑法、二次指数平滑法和三次指数平滑法等。但它们的基本思想都是：预测值是以前观测值的加权和，且对不同的数据给予不同的权数，新数据给予较大的权数，旧数据给予较小的权数。
spark-shell报错：Failed to find Spark jars directory. You need to build Spark before running this program.
07-16
您好！对于这个报错信息，可能是因为您在运行 spark-shell 命令之前没有正确构建 Spark。请按照以下步骤进行操作： 1. 确保您已经正确安装了 Spark，并且设置了 SPARK_HOME 环境变量。您可以通过运行 `echo $SPARK_HOME` 来检查环境变量是否正确设置。 2. 确认您已经在正确的目录下运行了 spark-shell 命令。通常情况下，应该在 Spark 的安装目录下执行该命令。 3. 如果您已经正确设置了 SPARK_HOME 环境变量，但是仍然遇到这个问题，可能是由于缺少必要的 Spark JAR 文件。您可以尝试重新构建 Spark，或者从 Spark 的官方网站下载已编译的二进制版本。 如果您还有其他问题，请随时提问！
评论 18
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值