数据库
文章平均质量分 64
数据库
对许
这个作者很懒,什么都没留下…
展开
-
如何将Hive表的分区字段插入PG表对应的时间戳字段?
在PostgreSQL中,时间戳(timestamp)类型主要用于存储日期和时间的值,包括年、月、日、时、分、秒和小数秒例如,我们已经创建了一个应用层PG表,该表包含了某个作图图表的一些指标字段和一个时间戳(timestamp)字段,现在需要将Hive查询计算的结果插入到该PG表,其中分区(string)字段对应到PG表的时间戳字段(timestamp)如何进行转换以确保插入成功?原创 2024-06-29 18:25:12 · 329 阅读 · 0 评论 -
SQL查询的执行顺序
SQL是基于集合理论的,集合不会预先对它进行排序,它只是成员的逻辑集合,成员的顺序是无关紧要的。需要注意的是,这些虚拟表隐含在SQL的执行过程中,对于我们来说是不可见的。实际上,ON和WHERE的最大区别在于,如果在ON中应用逻辑表达式,那么在第三步OUTER JOIN中还可以把过滤的行再次添加回来匹配。如果FROM子句中有多于两个表,那么就将vt3和第三个表连接计算笛卡尔乘积,生成虚拟表,即重复1-3步骤,最终得到一个新的虚拟表vt3。则只打印X班级的学生信息,其它班级的学生信息则会被永久过滤。原创 2024-06-27 16:15:36 · 777 阅读 · 0 评论 -
Hive、MySQL、Oracle内建函数对照表
Hive自身预置了许多函数,可以满足大部分业务场景的数据处理需求。例如,日期与时间函数、数学函数、窗口函数、聚合函数、字符串函数、复杂类型函数、加密函数等。本文将提供MaxCompute、Hive、MySQL以及Oracle的内建函数对照表,方便我们在使用时进行对照查阅,以避免混淆使用。原创 2023-12-12 15:51:47 · 620 阅读 · 0 评论 -
ClickHouse:真正的OLAP列式DBMS
ClickHouse官方文档:https://clickhouse.com/docs/zh原创 2023-11-27 22:09:25 · 834 阅读 · 0 评论 -
查询优化器:RBO与CBO
Calcite的产生背景在上世纪,关系型数据库系统基本主导了数据处理领域,但是在Google三篇创世纪论文发表后,大家开始意识到,一种适合所有场景的数据库是不存在的事实上,今天也确实是这样,许多特定场景下的数据处理系统已经成为主流,例如流处理领域的Flink、Storm,批处理领域的Hive、SparkSQL,文本搜索领域的Elasticsearch等。原创 2023-11-07 16:31:11 · 612 阅读 · 0 评论 -
SQL常用函数(以MySQL为例)
以下常用函数以MySQL为例,其它数据库类似。原创 2023-10-31 21:42:29 · 112 阅读 · 0 评论 -
Excel/CSV等格式数据入库(PostgreSQL、Oracle、MySQL)
检查源字段与目标字段是否对应,Excel中多余的字段如果数据库的表中没有,则不需要对应源字段,点击下一步。:先将数据保存为Excel或CSV格式,再使用Navicat进行导入,导入时可选增量或全量。从本地选择需要导入的Excel文件,选择Sheet表(这一步很重要),点击下一步。点击开始,执行导入,successfully表示导入成功,点击关闭。选择文件类型,本次操作选择Excel文件,其它类似,点击下一步。点击打开创建的表,查看插入的数据,点击导入,进入导入向导。检查源表与目标表是否正确,点击下一步。原创 2023-08-31 22:30:56 · 2354 阅读 · 0 评论 -
Python操作数据库(MySQL、PostgreSQL、Oracle、MongoDB)
Python3连接MySQL主要有两种方式:mysql-connector模块和PyMySQL模块。: 比mysql-connector略快,兼容MySQLdb。Python3连接PostgreSQL:psycopg2模块。Python3连接MongoDB:pymongo模块。:Oracle官方支持、略慢、不兼容MySQLdb。原创 2023-08-20 17:35:51 · 326 阅读 · 0 评论