CODE男孩的博客

你只是看起来很努力,,,,,

使用spring-boot-admin对spring-boot服务进行监控

原文:http://www.cnblogs.com/ityouknow/p/8440455.html   Spring Boot Actuator提供了对单个Spring Boot的监控,信息包含:应用状态、内存、线程、堆栈等等,比较全面的监控了Spring Boot应用的整个生命周期。 但...

2018-07-20 10:41:14

阅读数 240

评论数 1

spark streaming 广播变量的测试

最近写的一个流式的程序需要从redis 中获取变量信息,并广播,其中redis里面的信息是变动的,要求广播变量也要跟着改变,下面是测试代码:val dStream = KafkaUtils.createDirectStream[String, String]( ssc, Pre...

2018-07-16 11:07:52

阅读数 340

评论数 1

Spark运行架构(Good)

转自与https://note.youdao.com/share/?id=7fc41e362e86a863a84e787573433a76&type=note#/1、 Spark运行架构1.1 术语定义lApplication:Spark Application的概念和Ha...

2018-07-06 14:23:04

阅读数 209

评论数 0

Spark2.3.0 结构化流 进行streaming+kafka的可操作算子流

工作上正在进行Streaming算子的研究学习,需要做到在流的基础上,通过kafka接收数据到 中间若干的计算算子,再到最后的输出。开始使用传统的streaming+kafka,但由于无法返回后续使用的dataset,只能放弃, 后来大牛提出永spark的结构化流处理,于是经过参考文档资料编写了一...

2018-07-03 11:27:07

阅读数 457

评论数 0

spring-sparkstreaming-kafka10集成实现以及可能出现的部分问题(DirectKafkaInputDStream 无法序列化)

本文所研究的spark-streaming代码版本为2.3.0-SNAPSHOT spark-streaming为了匹配0.10以后版本的kafka客户端变化推出了一个目前还是Experimental状态的spark-streaming-kafka-0-10客户端,由于老的0.8版本无法支持ker...

2018-07-02 10:43:24

阅读数 1136

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭