自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(180)
  • 收藏
  • 关注

原创 工作改进:先想好怎么做,然后再执行

领导的反馈非常宝贵,它指出了你在工作中的一个重要方面可以改进的地方。通过实施这些建议,你将能够更好地规划和管理工作,提高工作效率和质量,从而赢得领导的更多认可和信任。

2024-06-20 18:31:27 136

原创 未完工数据和系统数据对比分析

SUM(COALESCE(o.quantity, 0)) - SUM(COALESCE(r.in_num, 0)) - SUM(COALESCE(m.in_process, 0)) AS unsold_num, -- 未投单存货数量。COALESCE( u.`db_close_systime`,a.`db_close_systime`) AS db_close_systime_coalesced ,-- 取非空值的订单关闭时间。

2024-06-20 14:52:31 67

原创 如何减少工作中出现的问题和提高效率

这不仅可以帮助你避免在未来重复相同的错误,还可以作为学习和改进的依据。通过不断学习和实践,你可以找到最适合自己的工作方式和处理事情的方法,提高工作效率和质量。:通过定期回顾问题集,你可以识别出常见的问题类型和趋势,这有助于你提前采取预防措施,减少未来出现问题的可能性。随着时间的推移,你可以看到自己的进步,以及仍然需要改进的方面。:在求职或晋升时,问题集可以作为你个人能力和经验的证明,展示你的成长和解决问题的能力。:你可以将问题集分享给同事或团队成员,帮助他们避免相同的错误,并共同学习和进步。

2024-06-20 09:40:42 626

原创 如何减少sql出现问题

在编写 SQL 时遇到小问题是很常见的,尤其是当你对 SQL 语言、数据库设计或业务需求不够熟悉时。

2024-06-20 09:34:40 204

原创 starrocks进行数据的删除

另外,根据搜索结果,StarRocks 在某些版本中可能不支持在 DELETE 语句的 WHERE 条件中使用函数,例如 `DATE(time)`。如果您的 `dt` 字段是日期时间类型,并且您需要使用函数来构造删除条件,请确保您的 StarRocks 版本支持这种用法,或者您可能需要使用其他方式来构造删除条件。最后,如果您在执行 DELETE 操作时遇到任何问题,您可以查看 StarRocks 的官方文档或社区论坛获取帮助。在这里,`p1` 是您想要删除数据的分区名称,您需要替换为实际的分区名称。

2024-06-19 17:18:45 139

原创 ALTER TABLE 语句来添加字段或修改列的注释。

你可以使用外部工具或脚本来修改数据源的表结构,并在 Flink SQL 中查询修改后的表。如果你只是想为 Flink SQL 查询中的字段添加注释或描述,以便其他开发人员更容易地理解你的查询,你可以考虑在查询的文档或注释中添加这些信息。如果你的 Flink 任务与元数据存储(如 Catalog)集成,你可以使用 Catalog 的 API 或管理工具来添加或修改表的字段和注释。如果你的 Flink 任务连接到的是支持 DDL 语句的数据源(如 Hive),你可以使用相应的 DDL 语句来添加字段或注释。

2024-06-17 14:07:41 281

原创 Cannot discover a connector using option: ‘connector‘=‘starrocks‘

这通常意味着你虽然可能已经在项目的依赖管理中添加了 StarRocks 的 Flink 连接器依赖,但是 Flink 运行时并没有找到这个依赖,或者该依赖并不包含你需要的连接器工厂。如果你是在集群上运行 Flink 任务,确保你已经将 StarRocks Flink 连接器依赖的 JAR 包部署到了 Flink 的 lib 目录下,或者通过 Flink 的。如果你使用的是 Maven,你可以通过。在添加了新的依赖之后,确保你重新构建了你的项目,以便 Maven 或 SBT 能够下载并安装新的依赖。

2024-06-14 08:29:15 399

原创 StarRocks中,这些配置项是表属性的一部分

是一种流行的压缩算法,它提供了良好的压缩比和较快的压缩/解压缩速度。: 这个属性指定了数据的副本数量。在StarRocks中,为了数据的高可用性,每个数据分片(tablet)可以有多个副本。设置为"false",则表示关闭了异步写回功能,所有的写操作都将同步执行。在StarRocks中,缓存可以显著提高查询性能,特别是对于频繁访问的数据。在StarRocks中,这些配置项是表属性的一部分,用于定义表的行为和性能特征。设置为"true",则StarRocks会尝试将热点数据缓存到内存中,以加速数据访问。

2024-05-29 15:10:03 475

原创 数据质量报告模板

数据质量报告报告概述报告日期:YYYY年MM月DD日 报告周期:报告覆盖的时间范围(例如,月度、季度) 报告版本:1.0 编制人员:报告编写者姓名 审核人员:报告审核者姓名数据集概览数据集名称:涉及的数据集或数据库名称 数据集描述:数据集的简要描述,包括其用途和重要性 数据量:报告周期内的数据记录总数 关键指标: 记录数 空值比例 重复记录数 数据更新频率 数据质量评估准确性定义:数据正确反映其真实世界实体的程度 评估方法:通过与权威数据源对比等方法

2024-05-28 13:37:12 478

原创 OpenMetadata数据质量监控与提升方案

随着业务对数据依赖性的增强,数据质量成为了决定业务决策成功与否的关键因素。OpenMetadata作为一款强大的元数据管理工具,为我们提供了数据质量检测与监控的能力。本项目旨在通过OpenMetadata平台,构建一套高效、准确的数据质量监控体系,并通过预警机制,帮助业务团队及时了解数据质量问题,进而提升数据质量。

2024-05-28 13:27:03 433

原创 努力提升自己的技术能力

理解你的感受,很多人都会有类似的想法,尤其是在长期工作后感觉自己在技术和专业方面没有达到预期的水平。但是,重要的是要认识到学习是一个持续的过程,而且每个人都有自己的成长速度和方式。只要你保持耐心和毅力,持续努力,你一定能够提升自己的技能和专业水平。同时,也要相信自己的能力和潜力,相信自己可以变得更加强大和优秀。实践和反思:学习不仅仅是理论知识,更重要的是实践。不断追求新的知识和技能,跟上行业的最新发展,这将有助于你在职业生涯中保持竞争力。设定目标:明确你想要提升的具体技能或领域,然后设定短期和长期的目标。

2024-05-28 13:25:04 183

原创 工作时想玩游戏

如果你还没有开始工作,但是意识到不能继续玩游戏了,这是一个很好的自我管理和时间意识的体现。例如,在完成一项重要任务后,允许自己享受一段放松的时光,比如玩一下游戏或看一集喜欢的电视剧。例如,允许自己在工作完成后玩30分钟的游戏,然后回到工作或其他责任中。最重要的是,要认识到时间的宝贵性,并努力在工作和娱乐之间找到平衡。通过有效地管理时间,你可以更好地完成工作,同时享受生活的乐趣。:制定一个简单的工作计划,将任务分解成可管理的小块,并为每个任务分配合理的时间。:首先,确定你的工作目标和优先级。

2024-05-19 16:15:56 260

原创 配置邮件告警系统是数据质量管理

2. **告警条件设置**:定义触发邮件告警的数据质量规则,如数据缺失、异常值、重复记录等。7. **教育与培训**:对团队成员进行数据质量管理的教育和培训,提高他们的数据质量意识。- **提高数据质量意识**:定期的质量检测报告可以提高团队对数据质量的重视。- **责任明确**:指定的收件人可以根据告警邮件负责相应的数据质量问题。- **提升用户信任**:确保数据的可靠性,增强内外部用户对数据的信任。1. **数据质量检测**:运行已配置的质量检测脚本,对数据进行检测。

2024-05-17 13:47:58 256

原创 改进自己的工作方式和思路

1. **明确目标**:在开始任何工作之前,确实需要先明确你的目标是什么。4. **利用AI作为工具**:AI是一个强大的工具,可以帮助你提高效率和质量。5. **持续学习**:专业知识是基础,持续学习和提高自己的专业水平是非常重要的。这是一个持续改进的过程。10. **保持好奇心和开放性**:对于新的工具、技术和方法保持好奇心,愿意尝试和学习。6. **实践和应用**:将学到的知识应用到实际工作中,通过实践来巩固和深化理解。8. **时间管理**:合理安排时间,确保有足够的时间来思考、规划和执行。

2024-05-17 13:17:12 176

原创 excle的公式转flinksql

K:$K,"*"&"民"&"*",未完成订单!SUM(CASE WHEN 未完成订单.Q LIKE CONCAT('%', B30, '%') AND 未完成订单.K LIKE CONCAT('%', '民', '%') AND 未完成订单.I >= '2024-01-01' AND 未完成订单.I < '2024-04-01' THEN 未完成订单.S ELSE 0 END) +$M:$M,"<"&TEXT($T$7,"YYYY")-1&"-"&TEXT($T$7,"M")+1&"-1")`

2024-05-17 11:29:34 314 1

原创 cx_Oracle Python 库连接 Oracle 数据库时遇到报错

前往 Oracle 官方网站下载适合你操作系统(Windows、Linux、macOS)和 Python 版本的 64 位 Oracle Instant Client。如果你不希望在你的机器上安装 Oracle 客户端库,或者你的开发环境比较复杂,可以考虑使用 Docker 来运行一个包含 Oracle 客户端的容器,并在该容器中运行你的 Python 脚本。如果你需要指定 Oracle 客户端库的位置(特别是当你使用的是虚拟环境时),你可能需要设置。(Windows)中的路径。(对于 macOS)。

2024-05-16 14:56:47 585

原创 要对数据源和同步后的数据进行数据量的对比

4. **数据对比**:在 Flink 中创建两个表,一个连接到数据源,另一个连接到目标系统,然后使用 Flink SQL 来比较这两个表的数据。3. **数据同步**:使用 Flink SQL CDC Connectors 或其他合适的连接器来同步数据源的数据到目标系统。5. **执行 Flink SQL**:在 Flink SQL 客户端或 Flink Web UI 提交上述 SQL 脚本。2. **数据同步**:如果你使用的是 Flink CDC Connectors,它会自动处理数据的增量同步。

2024-05-16 10:19:13 372

原创 积极向上的态度

通过持续的努力和实践,您将逐渐提高自己的工作效率和完成任务的能力。祝您在未来的工作中取得更大的成功!非常欣赏您这种积极向上的态度!

2024-05-16 08:56:35 378

原创 数据质量检测标准

即数据质量监控需要在etl任务执行后,check文件生成前,主动触发数据质量规则校验。规则校验未通过则报警,并且根据强弱规则,判定是否生成check文件和执行下游任务,弱规则生成check文件和继续执行下游任务,强规则不生成check文件和执行下游任务。为支持数据仓库全局的数据质量管控,需做好风险点监控,确保数据的完整性、准确性、及时性、一致性。时效监控和etl任务绑定,数据质量监控和数仓中的物理表绑定。工作流中任务出错会阻断下游任务,因此任务出错需立即发出预警,此功能由平台提供,无需配置。

2024-05-15 19:06:59 403

原创 要提升解决问题的能力

记住,提升解决问题的能力需要时间和实践。不要急于求成,保持耐心和坚持,你会逐渐发现自己在这方面的能力得到了提升。

2024-05-15 18:54:34 409

原创 时间管理是个人和组织提高效率的重要工具

2. **目的**:帮助个人识别任务的优先级,优先处理那些紧急且重要的任务,同时鼓励人们投资于那些不紧急但重要的任务,以减少第一象限任务的数量。1. **定义**:九宫格法则是一种更为生活化的时间管理工具,它将任务分为九个区域,通常包括工作、家庭、个人成长、健康、社交等方面。2. **目的**:帮助个人平衡生活的各个方面,确保在忙碌的工作中也不会忽视个人生活和长期目标。1. **定义**:四象限法则将任务分为四个象限,每个象限代表任务的不同重要性和紧急性。- 第四象限:不紧急也不重要。

2024-05-15 18:48:17 280

原创 将工作做好并赚取50万

记住,成功需要时间和努力。通过持续的努力和明智的决策,你将能够实现自己的目标并为自己的未来打下坚实的基础。将工作做好并赚取50万作为未来规划的一部分是一个明确且实际的目标。

2024-05-14 13:44:29 133

原创 多读书,多锻炼,勇敢点,去面对,去解决

总之,多读书、多锻炼、勇敢点、去面对、去解决这些建议都是非常有价值的。只要我们坚持去做,就一定能够收获一个更加健康、自信、成功的自己。这些建议都是非常积极和有益的,它们涵盖了身心健康和个人成长的重要方面。

2024-05-14 13:07:19 300

原创 惊人的“苦难守恒定律”(2020必读好文)

可是有谁知道她饱尝生活的艰辛,曾经住在没有大门的破房子里,过着饥一顿饱一顿地生活,又有谁知道她过去深受抑郁症的困扰,一度丧失对生活的所有期待,最后历时四年,才艰难走出来。他从小家境贫寒,偏偏仕途又颇为坎坷,唐贞元七年(791)孟郊第一次入京参加科举考试,却不幸落第,接着他又连续参加了多次科考,都以失败告终,个中苦楚,难以言说。每个人的生命里,都会有一段又一段难熬的时光,或许是失业的穷困,或许是失恋的悲伤,或许是创业的打击,或许病痛的折磨……当孙少平听从命运的召唤,赤手空拳,无比艰难地去东关桥头揽工时;

2024-05-14 11:31:15 311

原创 手机号码的正则表达式

手机号码的正则表达式会根据不同的国家/地区有所不同,因为每个国家/地区都有自己特定的手机号码格式。但是,我可以为你提供一个通用的正则表达式模板,并给出一些具体国家/地区的例子。

2024-05-14 10:52:06 765

原创 让自己变得更加勇敢、有担当、有责任感

想要让自己变得更加勇敢、有担当、有责任感,并且能够妥善处理自己的事情,是一个值得追求的目标。最后,记住勇敢、有担当和责任感不是一夜之间就能培养出来的,它们需要时间和努力。只要你持续努力并坚持不懈,你一定能够实现自己的目标。

2024-05-14 08:41:24 180

原创 惊人的“苦难守恒定律”,读懂改变一生

如今,随着时代的发展,穷人早已不需要吃苦,每天的生活十分安逸舒适,享受短视频带来的愉悦和快感,吃着即点即到的外卖,惬意万分。日复一日,年复一年,这对夫妻始终精心的照料它们,直到一天,这对夫妻年龄大了,离开了小岛,这群天鹅也随之消失。反观富人,每天为了创造更多的财富,巩固自己的江山和地位,必须时刻精进,做诸多痛苦的事情,不断吃苦前行。宝剑越磨越是锋利,梅花越寒越是芬芳,人亦是如此,肯吃苦,能自律,就能达人所不达,见人所未见。“人生如茶,亲品者,细细品尝余甘无穷,但若是勉强为之,只会记得入口时的苦涩。

2024-05-13 17:23:16 106

原创 迷茫时读书,焦虑时运动,独处时蓄力

在独处时,我们可以静下心来,回顾过去,展望未来,思考自己的内心需求和价值观。通过运动,我们可以释放身体中的压力,增强身体的免疫力,提高自我效能感。书籍是智慧的结晶,它们可以引导我们思考,帮助我们理清思路,找到前进的方向。阅读不仅可以丰富我们的内心世界,还可以增强我们的思维能力和解决问题的能力。它提醒我们,在面对不同的情绪状态时,要学会通过特定的活动来调整自己,以达到更好的心理状态和生活质量。这个观点非常富有哲理,它传达了在不同情绪状态下如何通过特定的活动来调整自己,以达到更好的心理状态和更健康的生活方式。

2024-05-13 15:27:42 194

原创 dverifysystime 字段的空值率

的记录数,然后再计算总记录数。之后,你可以通过简单的除法来得到空值率。以下是一个 SQL 查询的示例,该查询将为你提供。的记录所占的百分比),你需要先计算。字段的空值率(即该字段为。

2024-05-13 09:18:26 312

原创 珍惜每一天,活在当下

总之,珍惜每一天,活在当下,关注自己的生活和成长是一种积极的生活态度。通过制定目标、积极行动、关注当下、培养兴趣、自我反思、保持健康、培养人际关系和保持开放心态等方法,你可以更好地享受生活,实现个人价值,并应对生活中的挑战和困难。确实,人生短暂,每一天都是宝贵的。珍惜每一天,活在当下,关注自己的生活和成长,是一种积极的生活态度,它有助于我们更好地享受生活,实现个人价值,以及应对生活中的挑战和困难。:找到并培养自己的兴趣爱好,这不仅可以让你在忙碌的生活中找到乐趣,还可以帮助你发展新的技能和才能。

2024-05-11 09:12:44 346

原创 SERVER_DOWN 表示该服务器已经宕机或无法访问

该JSON数据描述了一个事件通知,具体地,它表示一个主服务器(MASTER)的状态发生了变化。

2024-05-10 15:59:44 395

转载 k8s常用命令

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。原文链接:https://blog.csdn.net/weixin_43205308/article/details/129753179。kubectl desceribe pod 名称。4、重置k8s(别手贱执行,相当于上库跑路了)8、查看运行pod、deployment等状态。9、上面命令查不到可以用pod运行日志。1、查看k8s 运行状态。

2024-05-09 13:16:47 58

原创 如何能够很好的转正

转正确实是一个重要的时刻,它标志着你从试用期员工正式成为公司的一员。最后,祝你顺利转正!

2024-05-08 10:55:19 99

原创 在Flinksql中批处理分析,一张表里有客户的id ,订单id,订单审核时间,如何分析客户的下单的间隔时间?

在 Flink SQL 中进行批处理分析时,要计算客户的下单间隔时间,你可以使用自连接(Self-Join)查询来比较同一客户的不同订单记录。请注意,这个查询假设每个客户至少有两个订单,因为我们需要计算相邻订单之间的间隔。:选择客户ID、第一个订单的审核时间、第二个订单的审核时间以及它们之间的间隔时间。:按照客户ID和订单审核时间对表进行排序,确保同一客户的订单是连续排列的。:计算相邻订单的审核时间差,即当前订单的审核时间减去上一个订单的审核时间。:确保你有一个包含客户ID、订单ID和订单审核时间的表。

2024-04-30 14:23:23 147 3

原创 在Flink SQL中计算月同环比

在Flink SQL中计算月同环比通常涉及到窗口函数和条件逻辑。同环比通常用于比较当前月份与前一月份或去年同期月份的指标变化。以下是一个基本的示例,展示了如何在Flink SQL中计算月同比(与去年同期相比)和月环比(与上一月相比)。假设字段的格式是YYYY-MM。首先,你需要计算出每个月的总数量(这里以quantity字段为例),然后基于这个总数量计算同比和环比。

2024-04-28 14:01:42 273 2

原创 在Flink SQL中,如果你想要从时间戳字段中获取年月日部分

在Flink SQL中,如果你想要从时间戳字段中获取年月日部分,你可以使用内置的函数来实现。Flink SQL提供了许多与日期和时间相关的函数,例如。请注意,Flink SQL的函数和特性可能会随着版本的更新而发生变化。因此,建议查阅你所使用的Flink版本的官方文档以获取最准确和最新的信息。另外,如果你想要以特定的格式(例如'YYYY-MM-DD')返回日期,你可以使用。的列,其中包含按'YYYY-MM-DD'格式格式化的日期。,这些函数可以帮助你从时间戳字段中提取相应的部分。

2024-04-28 09:52:07 294 2

转载 周鸿祎:All in AI,未来大模型10大趋势

第五个稍微偏点技术,OpenAI最近也在弥补,刚有了大模型的时候,大家觉得聊天机器人确实人机界面很简单,但做久了就发现,聊天机器人不太解决问题,仅仅是陪你聊天,最多就是一个PUA能手。美国有三家公司很有意思,一家叫微软,一家叫Adobe,还有一家叫Salesforce,他们没有用大模型做任何新的东西,而都是把大模型跟已有的产品和场景做了一个充分的结合,就焕发了新生。就是从小处着手,到公司内部。第三个,有大必有小,阴阳是两个方面,一方面现在很多公司在思考,如何把模型进一步做大,从千亿的参数做到万亿的参数。

2024-04-26 11:28:23 42

原创 Flink SQL 中将 `TIMESTAMP` 类型转换为 `DATE` 类型

如果您想要将 `TIMESTAMP` 类型的列转换为只有日期部分的类型,可以使用 `CAST` 函数将 `TIMESTAMP` 转换为 `DATE` 类型。在这个例子中,`t1.verify_date` 是一个 `TIMESTAMP(6)` 类型的列,使用 `CAST` 函数将其转换为 `DATE` 类型,并使用别名 `"审核日期"` 来标记结果列。在这个例子中,`DATE_FORMAT` 函数将 `TIMESTAMP` 类型的值格式化为 `'yyyy-MM-dd'` 格式的字符串。

2024-04-26 10:05:58 607 1

原创 Broadcast State的介绍

4. **使用广播状态**:在 Flink 的 `RichFunction` 类(如 `RichMapFunction`、`RichFlatMapFunction` 等)中,可以访问和使用广播状态。2. **状态注册**:用户需要在 Flink 作业中注册广播状态。2. **数据广播**:将某些低吞吐量的流(如配置变更或业务规则更新)广播给所有的任务,以便在处理另一个数据流时可以使用这些广播的数据。6. **状态一致性**:Flink 保证了广播状态的一致性,即所有任务在任何时候看到的广播状态都是相同的。

2024-04-26 09:16:22 363 2

原创 如何选择婚姻和感情

您想要的是什么样的伴侣?11. **情感健康**:确保您和您的伴侣都有良好的情感健康,这对于维持一段健康的关系至关重要。7. **家庭和朋友的意见**:虽然最终的决定在于您,但家人和朋友的意见可以提供不同的视角。6. **解决冲突的能力**:观察您的伴侣如何处理冲突和压力。10. **未来规划**:考虑您和您的伴侣的未来规划是否一致,包括职业规划、是否要孩子等。5. **个人成长**:一个好伴侣会支持您的个人成长和发展,而不是阻碍您。13. **相互支持**:在困难时期,您的伴侣应该是您最坚强的支持者。

2024-04-26 09:08:08 576

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除