菜鸟宇爱文
码龄2年
关注
提问 私信
  • 博客:11,888
    11,888
    总访问量
  • 13
    原创
  • 1,332,797
    排名
  • 76
    粉丝
  • 0
    铁粉

个人简介:菜鸟的自我修养

IP属地以运营商信息为准,境内显示到省(区、市),境外显示到国家(地区)
IP 属地:广东省
  • 加入CSDN时间: 2022-11-30
博客简介:

2201_75550155的博客

查看详细资料
  • 原力等级
    当前等级
    0
    当前总分
    0
    当月
    1
个人成就
  • 获得105次点赞
  • 内容获得14次评论
  • 获得96次收藏
创作历程
  • 13篇
    2024年
成就勋章
TA的专栏
  • spark
    8篇
  • Iceberg
  • 大数据
    10篇
  • 数据库
    3篇
  • Doris
    2篇
  • Python
创作活动更多

超级创作者激励计划

万元现金补贴,高额收益分成,专属VIP内容创作者流量扶持,等你加入!

去参加
  • 最近
  • 文章
  • 代码仓
  • 资源
  • 问答
  • 帖子
  • 视频
  • 课程
  • 关注/订阅/互动
  • 收藏
搜TA的内容
搜索 取消

spark性能优化

原创
发布博客 2024.04.10 ·
294 阅读 ·
3 点赞 ·
1 评论 ·
3 收藏

数据倾斜处理

原创
发布博客 2024.04.10 ·
345 阅读 ·
4 点赞 ·
1 评论 ·
9 收藏

DAG(有向无环图)

原创
发布博客 2024.04.10 ·
187 阅读 ·
3 点赞 ·
1 评论 ·
0 收藏

CoGroupRDD

原创
发布博客 2024.04.10 ·
141 阅读 ·
3 点赞 ·
1 评论 ·
0 收藏

reduceByKey 与 GroupByKey

原创
发布博客 2024.04.10 ·
339 阅读 ·
5 点赞 ·
1 评论 ·
6 收藏

spark RDD

原创
发布博客 2024.04.10 ·
112 阅读 ·
2 点赞 ·
1 评论 ·
0 收藏

spark组件

原创
发布博客 2024.04.10 ·
129 阅读 ·
2 点赞 ·
1 评论 ·
0 收藏

spark执行流程

原创
发布博客 2024.04.10 ·
248 阅读 ·
4 点赞 ·
1 评论 ·
4 收藏

OLAP 和 OLTP总结

OLAP和OLTP不一定要分离,很多企业会整合在一起,通过数据集成、数据分层和数据应用搭建统一的数据平台。需要支持复杂的数据操作,如数据切片、数据透视、聚合、统计分析等。数据通常是只读的,也可以支持高级的数据可视化操作和动态查询。通常只有汇总后的结果,而汇总分析过程通常可以执行很久。应用场景:日志分析、深度挖掘。市场分析、销售分析、供应链分析。应用场景:日常业务操作。银行、财务、在线购物、航班预订。数据量通常非常大,多维数据分析和查询。通常只有添加和查询操作。要求绝对的事务完整性。增删改查一般都会涉及。
原创
发布博客 2024.03.26 ·
205 阅读 ·
2 点赞 ·
0 评论 ·
0 收藏

为什么要用数据湖iceberg?

2.2 lamda架构(批式处理+流式处理,离线+实时)为了解决当前 数仓 平台的痛点。2.3 kappa架构(流式处理,实时)2.1 传统数仓(批式处理,离线)3. 数据湖解决了什么问题。4.什么是iceberg。1.数据湖是干什么的?2.当前数仓平台的痛点。
原创
发布博客 2024.02.15 ·
448 阅读 ·
10 点赞 ·
0 评论 ·
8 收藏

Doris常见问题

3、executing msg:>, backend 172.24.47.117 process memory used 2.68 GB, limit 2.47 GB:本次内存申请的位置是ExecNode:VAGGREGATION_NODE (id=7)>,当前BE节点的IP是 172.1.1.1,以及再次打印BE节点的内存统计。1、Memory limit exceeded::当前正在执行query 3c88608cf35c461d-95fe88969aa6fc30的内存申请过程中发现内存超限。
原创
发布博客 2024.02.15 ·
3454 阅读 ·
12 点赞 ·
0 评论 ·
17 收藏

Doris常用函数

- 2023-07-10 06:19:54 返回当前(国际标准时间)UTC日期和时间在 "YYYY-MM-DD HH:MM:SS" 或 "YYYYMMDDHHMMSS"格式的一个值。
原创
发布博客 2024.02.15 ·
4503 阅读 ·
15 点赞 ·
0 评论 ·
12 收藏

数据库结构设计

用户需求收集分析。
原创
发布博客 2024.02.15 ·
1452 阅读 ·
40 点赞 ·
0 评论 ·
36 收藏