更加迟到的2022年个人总结和简单的2023年计划 - 自己留档用

突然看到原来这里记录了我2021年的个人总结,而且标题是迟到的,看了一下日期,是二月初,现在已经是2023年2月底,所以是更加迟到的,哈哈哈。时间似乎过去有些久远,所以简单记录一下。

2022年做过的事

流水账

  • 工作
  • 加班
  • 转正
  • 远程办公
  • 更远程办公
  • 加班
  • 更多的加班…
  • 短暂远程办公到年底

探索过的技术

  • MySQL
  • Django Rest Framework
  • Java: AOP, Reflection, Generic Programming
  • Spring
  • Spring Boot
  • Spring Cloud
  • Redis
  • Mybatis Plus
  • Lombok
  • Nacos
  • XXL-Job
  • iText7
  • Linux: ab test
  • Gunicorn
  • 微信小程序卡片

学习之路

  • Java基础
  • Intelli J的使用
  • Spring源码
  • 设计模式
  • HashMap底层
  • MySQL底层
  • 操作系统
  • 计算机网络
  • Shell编程
  • CPython部分源码
  • Rust
  • Go

读书

  • (非技术类,挖个坑,不用填)

几件小事

  • 通宵写代码:当时刚好SQL基本上写出来了,几乎每个sql都有上100行,需要花时间整理整个年报的数据生成逻辑,所以需要非常大片完整不受打扰的时间。当然,工期很紧也是一个重要因素。
  • “偷偷学Java”:(这个先挖坑)
  • 在酒店写代码:(这个先挖坑)
  • 在方舱写代码:(这个先挖坑)
  • 住在公司写代码:(这个先挖坑)
  • QPS性能调试:(这个先挖坑)
  • 部署文档编写:(这个先挖坑)

这次挖的坑比较多,以后有时间写,有些是不适合现在写出来,有些不想写,总之,技术进步很开心。

2023年计划

为这次总结加点料吧,简单的将新的一年较为重要的计划列下来:

  • 找一份更有挑战的工作
  • Python
  • 学习一门新的语言
  • 算法
  • 旅行
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
在 Spark Structured Streaming 中,事件时间(Event Time)和水印(Watermark)可以用来处理迟到数据。具体的处理过程如下: 1. 事件时间:Spark Structured Streaming 可以从数据源中获取到每个事件的时间戳,这个时间戳就是事件时间。对于数据源无法提供事件时间的情况,Spark 也提供了可以自定义事件时间的方法。 2. 水印:水印是一种机制,用来衡量每个时间窗口(Window)的延迟程度。在 Spark Structured Streaming 中,可以通过设置一个延迟阈值来生成水印,例如,设置水印为当前事件时间减去 5 分钟。这样,如果一个事件的时间戳比当前水印时间戳还早,那么这个事件就被认为是迟到数据。 3. 迟到数据的处理:对于迟到数据,可以通过设置窗口延迟时间来处理。在 Spark Structured Streaming 中,可以使用 window() 函数来定义窗口大小和滑动间隔,同时使用 withWatermark() 函数来定义水印。对于迟到数据,可以设置一个延迟时间,超过这个延迟时间的数据就会被丢弃或者放入到特定的迟到数据处理流中,等待后续处理。 4. 迟到数据的处理方式:对于迟到数据的处理方式,可以根据具体业务场景来决定。一种常见的方式是将迟到数据保存到外部存储系统中,例如 HDFS 或者 Hive 等,以便后续处理。另一种方式是将迟到数据与当前数据进行合并计算,例如使用窗口函数中的 reduce() 或者 fold() 函数。 总的来说,事件时间和水印是 Spark Structured Streaming 中用来处理迟到数据的重要机制,可以根据具体业务场景来选择合适的处理方式。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值