![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
spark
gaoxiaomo
这个作者很懒,什么都没留下…
展开
-
Spark Streaming处理速度滞后于读取速度测试
Java代码 包 spark.examples.streaming 导入 org.apache.spark.SparkConf import org.apache.spark.streaming.StreamingContext._ 导入 org.apache.spark.streaming._ 对象NetCatStreamingWord转载 2017-12-02 15:37:53 · 4654 阅读 · 1 评论 -
大数据常见错误解决方案
大数据常见错误解决方案(转载) 1、用./bin/spark-shell启动spark时遇到异常:java.net.BindException: Can't assign requested address: Service 'sparkDriver' failed after 16 retries! 解决方法:add export SPARK_LOCAL_IP="127.0.0.1"转载 2017-12-02 16:30:44 · 2918 阅读 · 0 评论 -
Spark Streaming优雅的停止服务
暴力停掉sparkstreaming是有可能出现问题的,比如你的数据源是kafka,已经加载了一批数据到sparkstreaming中正在处理,如果中途停掉,这个批次的数据很有可能没有处理完,就被强制stop了,下次启动时候会重复消费或者部分数据丢失。 如何解决呢? 一、如果只是本地并且一次性的测试,只需要在SparkConf里面设置下面的参数即可 val conf = new S原创 2017-12-11 22:30:17 · 1755 阅读 · 0 评论