![](https://img-blog.csdnimg.cn/20201014180756724.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Spark
canfengli
喜爱编程,喜欢旅游,努力吧
展开
-
HBase管理offset,解决kafka头越界或尾越界问题(HBase存储offset可以更换为Mysql、Redis、Zookeeper)
HBase管理offset,解决kafka头越界或尾越界问题(HBase存储offset可以更换为Mysql、Redis、Zookeeper什么是越界?头越界的原因尾越界的原因解决方案流程图代码实现调用方式举例什么是越界?越界包括头越界或尾越界。指的程序消费的是kafka offset不在kafka的队列里面,可能是数据过期或者kafka数据被清除###头越界的原因数据过期:指的是kafka中存储的数据会在一定时间内过期,比如数据的过期时间设置为7天。如果此时Spark、Flink、Java等程原创 2020-07-03 11:34:11 · 891 阅读 · 1 评论 -
Spark+kafka+scala入门
Spark+kafka+scala入门1. Scala编程思想(1) val常量,var变量,在声明变量的时候不需要说明具体的类型,类似于javascript语言(2) def表示声明函数或方法,其中参数名颠倒写,即变量名在前:类型,返回值不需要写returndef getPath(path:String):String={ println(path) path}(3) fo...原创 2020-03-30 10:58:08 · 4782 阅读 · 0 评论 -
JavaSE中使用JPA(Hibernate 5.0 + mysql)框架
项目背景项目是Spark程序,原先的项目采用的是jdbc的形式连接数据库,十分繁琐且并发性能十分孱弱,故找出了在非Spring环境中使用JPA的方法使用方法maven依赖 <!-- 数据库相关 --> <!-- 通过hibernate连接数据库 默认连接池大小20 --> <dependency> <g...原创 2019-03-25 10:10:29 · 323 阅读 · 0 评论 -
Spark UI监控指标查看
1. Spark监控页进入对应的application进入Tracking URL选择Streaming2. 监控指标Input Size 每个批次处理输入数据大小(如多少条日志)Processing Time 每个批次处理时间Scheduling Delay 每个批次延迟时间Status 每个批次的状态 queued排队等待,processing正在执行Activ...原创 2019-09-27 14:45:51 · 1900 阅读 · 0 评论