Streaming
桔梗的犬夜叉
这个作者很懒,什么都没留下…
展开
-
streamingcontext序列化异常和每个程序中只能运行一个sparkcontext
streamingcontext序列化异常和每个程序中只能运行一个sparkcontext原创 2019-04-11 14:51:20 · 432 阅读 · 0 评论 -
java.io.NotSerializableException: org.apache.spark.api.java.JavaSparkContext,sparkcontext无法被序列化的问题
sparkcontext无法被序列化的问题,当我们在使用RDD调用map等算子,或者Dstream使用transform时,我们需要在它们的重写的方法里面,需要利用sparkcontext 比如把一个集合转化为RDD,但是一运行就报java.io.NotSerializableException: org.apache.spark.api.java.JavaSparkContext(sparkco...原创 2019-04-15 13:38:53 · 4815 阅读 · 3 评论 -
SparkStreaming任务失败后,自动重启的脚本
当运行streaming任务时,可能会因为某些原因比如代码的bug,以及其他的因素导致streaming程序停止(FINISHED,KILLED,FAILED),虽然我们可以再手动重启一次程序,但是这样还是比较麻烦的,接下来要做的就是让linux自动监控streaming程序是否停止,如果停止就自动重启,话不多说下面写重启脚本:#!/bin/bash myapp_sta...原创 2019-08-16 13:59:06 · 1742 阅读 · 0 评论