- 博客(17)
- 收藏
- 关注
原创 sql里面得排序相关的窗口函数
在 SQL 中,窗口函数(Window Functions)是一类特殊的函数,它们可以用于在查询结果集中的窗口(例如某个特定行的邻近行)上执行计算。:为结果集中的行分配一个唯一的序号,通常配合 ORDER BY 在排序后的结果集中使用。:计算结果集中每行数据的排名,相同数值的行会得到相同的排名,略过后续排名。:将结果集划分为指定数量的桶(或称作瓜分),并为每一行分配一个对应的桶号。:用于获取结果集中当前行之前的某一行的值。:用于获取结果集中当前行之后的某一行的值。
2024-03-20 15:07:43 213
原创 多元数据归集
多元数据数据归集是一系列系统化的方法,用于从多个数据源收集、整理和融合数据,以构建一个统一的、一致的数据集。这个过程通常涉及数据的提取、转换和加载(ETL),确保数据的准确性、完整性和一致性。
2024-03-18 17:01:14 777
原创 元数据管理
元数据管理是指对数据进行描述、组织、管理和利用的过程,它包括了数据的定义、结构、来源、关系等信息。良好的元数据管理可以帮助组织更好地理解和利用数据资源。下面是元数据管理的基本理论、过程和一些常用工具的总结:元数据定义:元数据分类:元数据管理的作用:收集元数据:存储元数据:维护元数据:利用元数据:Apache Atlas:Collibra:Informatica Metadata Manager:Alation:Dataedo:
2024-03-14 17:23:40 313
原创 数据分析python库总结
这些补充内容可以帮助更好地理解和应用数据分析,将数据驱动的决策和业务应用落地到实际中。在实践中,结合这些内容,可以更全面地应用Python进行数据分析,解决实际问题,并取得更好的业务效果。在Python中进行数据分析时,有许多常用的工具和库可供选择。
2024-03-14 17:07:29 508
原创 数据资源目录体系建设
这有助于提高数据资源的利用效率和降低重复采集数据的成本。建立数据治理机制,明确数据管理的责任和流程,包括数据所有权、数据审批流程、数据变更管理等,以确保数据的合规性和规范性。确保数据资源在存储、传输和处理过程中的安全性,包括数据加密、访问控制、风险管理等措施,以防止数据泄露、篡改和滥用。促进跨部门之间的合作和沟通,建立共享的数据管理平台和交流机制,以推动数据资源的共享和集成,实现资源优化和效率提升。管理数据资源的整个生命周期,包括数据的创建、存储、使用、共享、归档和销毁,以最大程度地提高数据的效益和价值。
2024-03-14 16:59:48 669
原创 python 排序
python中的DataFrame 在排序过程中,之前的 sort_index()已经改为了sort_values(),所以在排序的过程中具体语法为df1.sort_values(axis=0,ascending=True,by=[‘a’])
2022-03-16 11:28:21 812
原创 hive相关知识
hivesql的相关知识1.union 和 union all的区别两个都能进行全连接,但是表字段名称需要相同。不同的是union连接后的结果不去重,union all的结果去重2.rank()over()和row_number()over() 的区别rank()over()的结果对存在的并列现象会全部显示,而row_number()over()则对结果只显示一个。如想找到成绩最好的人中...
2020-04-02 14:33:53 147
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人