![](https://img-blog.csdnimg.cn/20201014180756926.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
文章平均质量分 54
qq_25866555
这个作者很懒,什么都没留下…
展开
-
解决长期空闲lettuce连接超时
解决方案:lettuce提供了校验连接的方法,lettuce提供了校验连接的方法 只是默认没开启 开启的话是每次获取连接都会校验。可以定时校验来解决 或者开启获取连接的校验1.定时校验来解决/*** 每隔2秒校验异常lettuce连接是否正常,解决长期空闲lettuce连接关闭但是netty不能及时监控到的问题* @author hujun*/@Component@Slf4jpublic class LettuceConnectionValidTask { @Autow...原创 2021-07-15 10:27:55 · 3195 阅读 · 0 评论 -
Window Operations on Event Time
在一个滑动的事件时间上进行聚合操作(spark3.0.0)完整demo:package structured_streamingimport java.sql.Timestampimport java.util.Dateimport org.apache.spark.sql.SparkSessionimport org.apache.spark.sql.functions.{count, current_timestamp, window}object WordCount2 { de原创 2020-08-17 17:18:02 · 115 阅读 · 0 评论 -
spark Global Temporary View
temporary views 是临时的,随着session的终止而消失如果想要一个temporary被所有的session分享,需要用到global temporary viewglobal temprary view 属于一个系统的数据库 global_temp实现例子:```// Register the DataFrame as a global temporary viewdf.createGlobalTempView("people")// Global temporary v原创 2020-08-14 14:07:21 · 421 阅读 · 0 评论 -
spark之RDD转化成DataFrame
根据spark1.6.0官网1.类反射的方式先获得某个实体类的RDD,然后用toDF()方法val people = sc.textFile("examples/src/main/resources/people.txt").map(_.split(",")).map(p => Person(p(0), p(1).trim.toInt)).toDF()2.编程方式1.创建Row类型的RDD2.创建跟Rows中结构匹配的schema(通过StructType)3.使用sqlContext原创 2020-08-14 13:30:58 · 180 阅读 · 0 评论 -
spark1.6.0版本最简单的方式解决no snappyjava in java.library.path
有一种方式是指定java.library.path的路径,但是不太好最好的方式是使用依赖管理的方式更换snappy版本。在你的pom文件里面加入如下内容,统一管理snappy的版本<dependencyManagement> <dependencies> <dependency> <groupId>org.xerial.snappy</groupId> <artif原创 2020-08-06 17:15:49 · 207 阅读 · 0 评论