- 博客(8)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 解决长期空闲lettuce连接超时
解决方案：lettuce提供了校验连接的方法，lettuce提供了校验连接的方法 只是默认没开启 开启的话是每次获取连接都会校验。可以定时校验来解决 或者开启获取连接的校验1.定时校验来解决/*** 每隔2秒校验异常lettuce连接是否正常，解决长期空闲lettuce连接关闭但是netty不能及时监控到的问题* @author hujun*/@Component@Slf4jpublic class LettuceConnectionValidTask { @Autow...
2021-07-15 10:27:55
3210
原创 Window Operations on Event Time
在一个滑动的事件时间上进行聚合操作(spark3.0.0)完整demo：package structured_streamingimport java.sql.Timestampimport java.util.Dateimport org.apache.spark.sql.SparkSessionimport org.apache.spark.sql.functions.{count, current_timestamp, window}object WordCount2 { de
2020-08-17 17:18:02
116
原创 spark Global Temporary View
temporary views 是临时的，随着session的终止而消失如果想要一个temporary被所有的session分享，需要用到global temporary viewglobal temprary view 属于一个系统的数据库 global_temp实现例子：```// Register the DataFrame as a global temporary viewdf.createGlobalTempView("people")// Global temporary v
2020-08-14 14:07:21
425
原创 spark之RDD转化成DataFrame
根据spark1.6.0官网1.类反射的方式先获得某个实体类的RDD,然后用toDF()方法val people = sc.textFile("examples/src/main/resources/people.txt").map(_.split(",")).map(p => Person(p(0), p(1).trim.toInt)).toDF()2.编程方式1.创建Row类型的RDD2.创建跟Rows中结构匹配的schema（通过StructType）3.使用sqlContext
2020-08-14 13:30:58
180
原创 spark1.6.0版本最简单的方式解决no snappyjava in java.library.path
有一种方式是指定java.library.path的路径，但是不太好最好的方式是使用依赖管理的方式更换snappy版本。在你的pom文件里面加入如下内容，统一管理snappy的版本<dependencyManagement> <dependencies> <dependency> <groupId>org.xerial.snappy</groupId> <artif
2020-08-06 17:15:49
210
原创 SparkStreaming读取kafka数据做实时计算
1.环境准备下载2.12.X版本的scala，在添加到idea sdk2.工程搭建创建maven工程，pom文件中加入如下内容：<dependencies><dependency><groupId>org.apache.spark</groupId><artifactId>spark-core_2.12</artifactId><version>3.0.0</version>
2020-07-27 13:11:25
1020
1
原创 resttemplate源码阅读（一）
1.ClassClass是Type接口的实现类2.AtomicReferenceAtomicReference和AtomicInteger非常类似，不同之处就在于AtomicInteger是对整数的封装，而AtomicReference则对应普通的对象引用。也就是它可以保证你在修改对象引用时的线程安全性3.ObjectMapper1)用来读写JSON2)ObjectReader,ObjectWriter的工厂3）虽然ObjectMapper 暴露了大部分的读写方法，但是有部分读写是只在Obje
2020-06-30 20:45:14
101
原创 iframe与绝对定位元素
<iframe height=600 url=""></iframe><div style="position:fixed;bottom:0"></div>实际证明,这个div不会覆盖iframe里面的页面,看起来就像这个div也占了一个地方一样....
2018-04-26 14:03:38
3421
cas-6.1.6.tar.gz
2020-05-02
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人