HIVE
Shine_YD
期望转业数据分析,关于MySQL、HQL、Python等数据库和分析语言学习记录,统计知识学习记录。
展开
-
MySQL学习 - 自定义变量
MySQL 变量MySQL包括系统变量和自定义变量。因我不太涉及服务器层面,因此只先对自定义变量进行学习。原创 2020-04-20 13:41:59 · 235 阅读 · 0 评论 -
数据倾斜
什么是数据倾斜在进行分布式计算时,某些节点的计算能力比较强或者需要计算的数据比较少,因此这些节点的任务早早地执行完成;然而另一些节点的计算能力较差或需要计算的数据比较多时,这些节点的任务没有执行完成。这种因为计算能力不均或数据分布不均造成数据热点(数据大量集中在某些节点)情况。主要表现为:任务进度一直维持在90% - 99%~100%附近,通过任务监控器查看仅有少数几个Reduce子任务未完成...原创 2020-03-26 16:14:06 · 117 阅读 · 0 评论 -
HIVE VS MySQL 函数对比
case whenMySQLselect case gender when 0 then 'Male' when 1 then 'Female' else 'other' end as genderfrom table;Hiveselect case when gender = 0 then 'Male' when gender = 1 then 'Female'...原创 2020-04-07 17:17:34 · 922 阅读 · 1 评论 -
MySQL学习 - 数据库设计范式
关系型数据库设计时需要遵照的规范要求称为“范式(Normal Function)”。**范式的主要作用在于减少单表中数据的冗余,因而单表数据量减小,表总数量增加,减缓一些查询效率,属于用时间换空间。**反范式则是在允许一定程度冗余的基础上,提高查询效率,即用空间换时间。...原创 2020-04-07 14:42:00 · 190 阅读 · 0 评论 -
MySQL学习 - 索引
索引在MySQL中也称为“键 key”,是存储引擎用于快速找到记录的一种数据结构。通过构建合理的索引,可以优化查询性能,提高查询效率,同时通过添加约束,也保证了字段的唯一性和数据的完整性。通常我们在表中的某一个或多个字段上构建索引,例如经常被查询的字段(where子句)、分组的字段(group by子句)、联合查询(主键或外键字段)等等。原创 2020-04-07 00:21:17 · 160 阅读 · 0 评论 -
MySQL学习 - 模糊查询/group_concat()/子查询/多表关联
MySQL- 模糊查询- 分组 group_concat()- 多表关联- 子查询 exsits/ any/ all原创 2020-04-06 22:40:01 · 1730 阅读 · 0 评论 -
MySQL学习 - 数据库基础
MySQL建表及增删改基础语句学习原创 2020-04-06 16:33:37 · 168 阅读 · 0 评论 -
Hive简介、架构、数据组织
Hive架构、数据组织等简介转载 2020-03-24 21:37:55 · 247 阅读 · 0 评论 -
HIVE - 窗口/分析函数 Window Function
窗口函数/分析函数(Window Function):1. 聚合计算2. 分区排序3. 分组排序4. 偏移计算原创 2020-03-25 14:42:34 · 1131 阅读 · 0 评论