- 博客(8)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 解决长期空闲lettuce连接超时
解决方案：lettuce提供了校验连接的方法，lettuce提供了校验连接的方法 只是默认没开启 开启的话是每次获取连接都会校验。可以定时校验来解决 或者开启获取连接的校验 1.定时校验来解决 /** * 每隔2秒校验异常lettuce连接是否正常，解决长期空闲lettuce连接关闭但是netty不能及时监控到的问题 * @author hujun */ @Component @Slf4j public class LettuceConnectionValidTask { @Autow...
2021-07-15 10:27:55
3934
原创 Window Operations on Event Time
在一个滑动的事件时间上进行聚合操作(spark3.0.0) 完整demo： package structured_streaming import java.sql.Timestamp import java.util.Date import org.apache.spark.sql.SparkSession import org.apache.spark.sql.functions.{count, current_timestamp, window} object WordCount2 { de
2020-08-17 17:18:02
211
原创 spark Global Temporary View
temporary views 是临时的，随着session的终止而消失 如果想要一个temporary被所有的session分享，需要用到global temporary view global temprary view 属于一个系统的数据库 global_temp 实现例子： ``` // Register the DataFrame as a global temporary view df.createGlobalTempView("people") // Global temporary v
2020-08-14 14:07:21
602
原创 spark之RDD转化成DataFrame
根据spark1.6.0官网 1.类反射的方式 先获得某个实体类的RDD,然后用toDF()方法 val people = sc.textFile("examples/src/main/resources/people.txt").map(_.split(",")).map(p => Person(p(0), p(1).trim.toInt)).toDF() 2.编程方式 1.创建Row类型的RDD 2.创建跟Rows中结构匹配的schema（通过StructType） 3.使用sqlContext
2020-08-14 13:30:58
261
原创 spark1.6.0版本最简单的方式解决no snappyjava in java.library.path
有一种方式是指定java.library.path的路径，但是不太好 最好的方式是使用依赖管理的方式更换snappy版本。 在你的pom文件里面加入如下内容，统一管理snappy的版本 <dependencyManagement> <dependencies> <dependency> <groupId>org.xerial.snappy</groupId> <artif
2020-08-06 17:15:49
324
原创 SparkStreaming读取kafka数据做实时计算
1.环境准备 下载2.12.X版本的scala，在添加到idea sdk 2.工程搭建 创建maven工程，pom文件中加入如下内容： <dependencies> <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-core_2.12</artifactId> <version>3.0.0</version>
2020-07-27 13:11:25
1175
1
原创 resttemplate源码阅读（一）
1.Class Class是Type接口的实现类 2.AtomicReference AtomicReference和AtomicInteger非常类似，不同之处就在于AtomicInteger是对整数的封装，而AtomicReference则对应普通的对象引用。也就是它可以保证你在修改对象引用时的线程安全性 3.ObjectMapper 1)用来读写JSON 2)ObjectReader,ObjectWriter的工厂 3）虽然ObjectMapper 暴露了大部分的读写方法，但是有部分读写是只在Obje
2020-06-30 20:45:14
174
原创 iframe与绝对定位元素
<iframe height=600 url=""></iframe><div style="position:fixed;bottom:0"></div>实际证明,这个div不会覆盖iframe里面的页面,看起来就像这个div也占了一个地方一样....
2018-04-26 14:03:38
3574
cas-6.1.6.tar.gz
2020-05-02
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人