大数据成神之路
关注
分享
扫一扫
文章平均质量分 79
王知无(import_bigdata)
微信搜：import_bigdata
GitHub搜：https://github.com/wangzhiwubigdata/God-Of-BigData
展开
-
2022年全网首发|大数据专家级技能模型与学习指南(胜天半子篇)
整篇文章约2.5万字(不包含引用和连接内容)。回顾过去2019-2020年2021年本文的行文思路第一部分：学习路径概览编程语言(⭐️⭐️⭐️⭐️⭐️)Linux基础(⭐️⭐️⭐️⭐️⭐️)数据库入门(⭐️⭐️⭐️⭐️⭐️)计算机基础(⭐️⭐️⭐️⭐️⭐️)Java基础(⭐️⭐️⭐️⭐️⭐️)分布式理论篇(⭐️⭐️⭐️⭐️)网络通信篇(⭐️⭐️⭐️⭐️)离线计算篇(⭐️⭐️⭐️⭐️⭐️)消息队列篇(⭐️⭐️⭐️⭐️⭐️)实时计算篇(⭐️⭐️⭐️⭐️⭐️)数据调度/治理/血缘原创 2022-01-09 19:46:03 · 8452 阅读 · 3 评论 -
SparkSQL的自适应执行-Adaptive Execution
点击上方蓝色字体，选择“设为星标”回复”资源“获取更多资源大数据技术与架构点击右侧关注，大数据开发领域最强公众号！暴走大数据点击右侧关注，暴走大数据！Spark SQL 自适应执行优化引...原创 2020-07-01 21:52:03 · 2032 阅读 · 0 评论 -
SparkSQL内核解析之逻辑计划
大数据技术与架构点击右侧关注，大数据开发领域最强公众号！暴走大数据点击右侧关注，暴走大数据！SparkSQL逻辑计划概述逻辑计划阶段被定义为LogicalPlan类，主要有三个阶段：由S...转载 2020-05-29 22:12:48 · 1044 阅读 · 0 评论 -
互联网最坏的时代可能真的来了
本文由【王知无】原创，首发于 CSDN博客！本文首发CSDN论坛，未经过官方和本人允许，严禁转载！本来我的【Spark重点难点系列】今天要发的文章已经写完了。但是有两个读者的留言让我内心十分煎熬，我觉得有必要拿出来分享一下。前两天有一篇《互联网大厂程序员梦醒时分》文章刷屏，如果你没看过可以百度搜一下。这篇文章里详细讲解了目前整个互联网的形势，我在2021年初的时候写过一篇《2021年，开发者的落日》。文中仅仅从技术方面分析了目前开发领域对大家的一些挑战，基于对2021年整个互联网技术从业者的原创 2021-12-03 21:16:05 · 855 阅读 · 1 评论 -
我的缅甸往事(二) | 惊魂南塘河
欢迎关注博客主页：微信搜：import_bigdata，大数据领域硬核原创作者_王知无(import_bigdata)_CSDN博客https://blog.csdn.net/u013411339欢迎点赞、收藏、留言 ，欢迎留言交流！本文由【王知无】原创，首发于 CSDN博客！本文首发CSDN论坛，未经过官方和本人允许，严禁转载！声明本文根据个人真实经历改编和演绎。文中所有出现的名字均为化名。本文出于分享和回忆记录的目的，不承担任何读者阅读此文带来的负面责任。本系列和技术无关，周末闲..原创 2021-11-27 13:07:18 · 1365 阅读 · 1 评论 -
我在B站读大学，大数据专业
我在B站读大学，大数据专业原创 2021-11-22 20:37:17 · 2422 阅读 · 0 评论 -
我的缅甸往事(一) | 个人在缅甸的真实经历
我的缅甸往事(一) | 个人在缅甸的真实经历原创 2021-11-21 17:08:42 · 8880 阅读 · 10 评论 -
「大数据成神之路」第四版更新完毕
欢迎关注博客主页：微信搜：import_bigdata，大数据领域硬核原创作者_王知无(import_bigdata)_CSDN博客https://blog.csdn.net/u013411339欢迎点赞、收藏、留言 ，欢迎留言交流！本文由【王知无】原创，首发于 CSDN博客！本文首发CSDN论坛，未经过官方和本人允许，严禁转载！截止2021年11月20日，《大数据成神之路》第四个版本更新完毕。Github地址：《大数据成神之路》https://github.com/wangzhiwub..原创 2021-11-21 11:49:38 · 2011 阅读 · 0 评论 -
Flink重点难点：Flink Table&SQL必知必会(二)
点击上方蓝色字体，选择“设为星标”回复”面试“获取更多惊喜在阅读本文之前，你应该阅读过的系列：《Flink重点难点：时间、窗口和流Join》《Flink重点难点：网络流控和反压》《Flin...原创 2021-09-11 17:46:56 · 883 阅读 · 0 评论 -
Flink 维表Join/双流Join 方法总结
点击上方蓝色字体，选择“设为星标”回复”面试“获取更多惊喜一、背景事实表通常存储在kafka中，维表通常存储在外部设备中(比如MySQL，HBase)。对于每条流式数据，可以关联一个外部维...原创 2021-10-29 08:30:00 · 1170 阅读 · 0 评论 -
【硬刚大数据】大数据同步工具之FlinkCDC/Canal/Debezium对比
欢迎关注博客主页：微信搜：import_bigdata，大数据领域硬核原创作者_王知无(import_bigdata)_CSDN博客欢迎点赞、收藏、留言 ，欢迎留言交流！本文由【王知无】原创，首发于 CSDN博客！本文首发CSDN论坛，未经过官方和本人允许，严禁转载！《【硬刚大数据之学习路线篇】从零到大数据专家的学习指南(全面升级版)》前言数据准实时复制（CDC）是目前行内实时数据需求大量使用的技术，随着国产化的需求，我们也逐步考虑基于开源产品进行准实时数据同步工具的相关开发，逐步实现对商..原创 2021-10-23 10:42:30 · 9474 阅读 · 0 评论 -
【硬刚Hive】HIVE源码(4):HQL 转换为 MR 源码详细解读(3)HQL 生成 AST（抽象语法树）
欢迎关注博客主页：微信搜：import_bigdata，大数据领域硬核原创作者_王知无(import_bigdata)_CSDN博客欢迎点赞、收藏、留言 ，欢迎留言交流！本文由【王知无】原创，首发于 CSDN博客！本文首发CSDN论坛，未经过官方和本人允许，严禁转载！本文是对《【硬刚大数据之学习路线篇】从零到大数据专家的学习指南(全面升级版)》的Hive部分补充。1 compileInternal 方法2 compile 方法3 parse 方法.....原创 2021-09-11 03:27:02 · 446 阅读 · 0 评论 -
【硬刚Hive】HIVE源码(3):HQL 转换为 MR 源码详细解读(2)
欢迎关注博客主页：微信搜：import_bigdata，大数据领域硬核原创作者_王知无(import_bigdata)_CSDN博客欢迎点赞、收藏、留言 ，欢迎留言交流！本文由【王知无】原创，首发于 CSDN博客！本文首发CSDN论坛，未经过官方和本人允许，严禁转载！本文是对《【硬刚大数据之学习路线篇】从零到大数据专家的学习指南(全面升级版)》的Hive部分补充。3.6 processLocalCmd 方法3.7 qp.run(cmd)方法....原创 2021-09-11 03:25:08 · 427 阅读 · 0 评论 -
【硬刚Hive】HIVE源码(1):HQL 是如何转换为 MR 任务的
欢迎关注博客主页：微信搜：import_bigdata，大数据领域硬核原创作者_王知无(import_bigdata)_CSDN博客欢迎点赞、收藏、留言 ，欢迎留言交流！本文由【王知无】原创，首发于 CSDN博客！本文首发CSDN论坛，未经过官方和本人允许，严禁转载！本文是对《【硬刚大数据之学习路线篇】从零到大数据专家的学习指南(全面升级版)》的Hive部分补充。1 Hive 的核心组成介绍1）用户接口：ClientCLI（command-line interface）、JDB.原创 2021-09-11 03:17:49 · 477 阅读 · 0 评论 -
【硬刚Hive】HIVE基础（21）：Hive 数据类型(二)
欢迎关注博客主页：微信搜：import_bigdata，大数据领域硬核原创作者_王知无(import_bigdata)_CSDN博客欢迎点赞、收藏、留言 ，欢迎留言交流！本文由【王知无】原创，首发于 CSDN博客！本文首发CSDN论坛，未经过官方和本人允许，严禁转载！本文是对《【硬刚大数据之学习路线篇】从零到大数据专家的学习指南(全面升级版)》的Hive部分补充。hive的集合数据类型包括三种，分别是Array、Map和Struct下面分别介绍一下关于集合类型的创建表、插入数据以及.原创 2021-09-11 03:14:45 · 460 阅读 · 0 评论 -
【硬刚Hive】HIVE高级(15):优化(15) Explain 查看执行计划（三）
欢迎关注博客主页：微信搜：import_bigdata，大数据领域硬核原创作者_王知无(import_bigdata)_CSDN博客欢迎点赞、收藏、留言 ，欢迎留言交流！本文由【王知无】原创，首发于 CSDN博客！本文首发CSDN论坛，未经过官方和本人允许，严禁转载！本文是对《【硬刚大数据之学习路线篇】从零到大数据专家的学习指南(全面升级版)》的Hive部分补充。0 简介Hive SQL的执行计划描述SQL实际执行的整体轮廓，通过执行计划能了解SQL程序在转换成相应计算引擎的执行逻辑，.原创 2021-09-11 02:52:19 · 539 阅读 · 0 评论 -
【硬刚Hive】HIVE高级(14):优化(14) Hive On Spark配置
欢迎关注博客主页：微信搜：import_bigdata，大数据领域硬核原创作者_王知无(import_bigdata)_CSDN博客欢迎点赞、收藏、留言 ，欢迎留言交流！本文由【王知无】原创，首发于 CSDN博客！本文首发CSDN论坛，未经过官方和本人允许，严禁转载！本文是对《【硬刚大数据之学习路线篇】从零到大数据专家的学习指南(全面升级版)》的Hive部分补充。1 Executor 参数以单台服务器 128G 内存，32 线程为例。1.1 spark.executor.cores.原创 2021-09-11 02:41:55 · 571 阅读 · 0 评论 -
【硬刚Hive】HIVE高级(13):优化(13) Hive Job 优化
欢迎关注博客主页：微信搜：import_bigdata，大数据领域硬核原创作者_王知无(import_bigdata)_CSDN博客欢迎点赞、收藏、留言 ，欢迎留言交流！本文由【王知无】原创，首发于 CSDN博客！本文首发CSDN论坛，未经过官方和本人允许，严禁转载！本文是对《【硬刚大数据之学习路线篇】从零到大数据专家的学习指南(全面升级版)》的Hive部分补充。1 Hive Map 优化1.1 复杂文件增加 Map 数当 input 的文件都很大，任务逻辑复杂，map 执行非常慢.原创 2021-09-11 02:39:07 · 447 阅读 · 0 评论 -
【硬刚Hive】HIVE高级(12):优化(12) 数据倾斜
欢迎关注博客主页：微信搜：import_bigdata，大数据领域硬核原创作者_王知无(import_bigdata)_CSDN博客欢迎点赞、收藏、留言 ，欢迎留言交流！本文由【王知无】原创，首发于 CSDN博客！本文首发CSDN论坛，未经过官方和本人允许，严禁转载！本文是对《【硬刚大数据之学习路线篇】从零到大数据专家的学习指南(全面升级版)》的Hive部分补充。0 简介 绝大部分任务都很快完成，只有一个或者少数几个任务执行的很慢甚至最终执行失败，这样的现象为数据倾斜现象。..原创 2021-09-11 02:32:33 · 415 阅读 · 0 评论 -
【硬刚Hive】HIVE高级(11):优化(11) HQL 语法优化(2) 多表优化
欢迎关注博客主页：微信搜：import_bigdata，大数据领域硬核原创作者_王知无(import_bigdata)_CSDN博客欢迎点赞、收藏、留言 ，欢迎留言交流！本文由【王知无】原创，首发于 CSDN博客！本文首发CSDN论坛，未经过官方和本人允许，严禁转载！本文是对《【硬刚大数据之学习路线篇】从零到大数据专家的学习指南(全面升级版)》的Hive部分补充。6 CBO 优化 join 的时候表的顺序的关系：前面的表都会被加载到内存中。后面的表进行磁盘扫描select a..原创 2021-09-11 02:28:50 · 457 阅读 · 0 评论 -
【硬刚Hive】HIVE高级(10):优化(10) HQL 语法优化(1) 单表优化
欢迎关注博客主页：微信搜：import_bigdata，大数据领域硬核原创作者_王知无(import_bigdata)_CSDN博客欢迎点赞、收藏、留言 ，欢迎留言交流！本文由【王知无】原创，首发于 CSDN博客！本文首发CSDN论坛，未经过官方和本人允许，严禁转载！本文是对《【硬刚大数据之学习路线篇】从零到大数据专家的学习指南(全面升级版)》的Hive部分补充。1 列裁剪与分区裁剪 列裁剪就是在查询时只读取需要的列，分区裁剪就是只读取需要的分区。当列很多或者数据量很大时，如果..原创 2021-09-11 02:20:55 · 404 阅读 · 0 评论 -
【硬刚Hive】HIVE高级(9):优化(9) Hive 建表优化(1) 分区表/分桶表/合适的文件格式/合适的压缩格式
欢迎关注博客主页：微信搜：import_bigdata，大数据领域硬核原创作者_王知无(import_bigdata)_CSDN博客欢迎点赞、收藏、留言 ，欢迎留言交流！本文由【王知无】原创，首发于 CSDN博客！本文首发CSDN论坛，未经过官方和本人允许，严禁转载！本文是对《【硬刚大数据之学习路线篇】从零到大数据专家的学习指南(全面升级版)》的Hive部分补充。1 分区表 分区表实际上就是对应一个 HDFS 文件系统上的独立的文件夹，该文件夹下是该分区所有的数据文件。....原创 2021-09-11 02:15:19 · 452 阅读 · 0 评论 -
【硬刚Hive】HIVE高级(8):优化(8) Explain 查看执行计划（二）
欢迎关注博客主页：微信搜：import_bigdata，大数据领域硬核原创作者_王知无(import_bigdata)_CSDN博客欢迎点赞、收藏、留言 ，欢迎留言交流！本文由【王知无】原创，首发于 CSDN博客！本文首发CSDN论坛，未经过官方和本人允许，严禁转载！本文是对《【硬刚大数据之学习路线篇】从零到大数据专家的学习指南(全面升级版)》的Hive部分补充。1 创建测试用表1）建大表、小表和 JOIN 后表的语句// 创建大表create table bigta....原创 2021-09-11 02:04:33 · 365 阅读 · 0 评论 -
【硬刚Hive】Hive高级（3）：优化(3) 合理设置 Map 及 Reduce 数/并行执行/ 严格模式/JVM 重用/压缩
欢迎关注博客主页：微信搜：import_bigdata，大数据领域硬核原创作者_王知无(import_bigdata)_CSDN博客欢迎点赞、收藏、留言 ，欢迎留言交流！本文由【王知无】原创，首发于 CSDN博客！本文首发CSDN论坛，未经过官方和本人允许，严禁转载！本文是对《【硬刚大数据之学习路线篇】从零到大数据专家的学习指南(全面升级版)》的Hive部分补充。5 合理设置 Map 及 Reduce 数1）通常情况下，作业会通过 input 的目录产生一个或者多个 map ....原创 2021-09-11 02:00:47 · 802 阅读 · 0 评论 -
【硬刚Hive】Hive基础（19）：Hive 函数(2) 自定义函数/自定义 UDF 函数/自定义 UDTF 函数
欢迎关注博客主页：微信搜：import_bigdata，大数据领域硬核原创作者_王知无(import_bigdata)_CSDN博客欢迎点赞、收藏、留言 ，欢迎留言交流！本文由【王知无】原创，首发于 CSDN博客！本文首发CSDN论坛，未经过官方和本人允许，严禁转载！本文是对《【硬刚大数据之学习路线篇】从零到大数据专家的学习指南(全面升级版)》的Hive部分补充。3 自定义函数1）Hive 自带了一些函数，比如：max/min 等，但是数量有限，自己可以通过自定义 UDF 来方...原创 2021-09-11 01:56:25 · 392 阅读 · 0 评论 -
【硬刚Hive】Hive基础（18）：Hive语法(5) DDL(2) 分区表和分桶表
欢迎关注博客主页：微信搜：import_bigdata，大数据领域硬核原创作者_王知无(import_bigdata)_CSDN博客欢迎点赞、收藏、留言 ，欢迎留言交流！本文由【王知无】原创，首发于 CSDN博客！本文首发CSDN论坛，未经过官方和本人允许，严禁转载！本文是对《【硬刚大数据之学习路线篇】从零到大数据专家的学习指南(全面升级版)》的Hive部分补充。1 分区表分区表实际上就是对应一个 HDFS 文件系统上的独立的文件夹，该文件夹下是该分区所有的数据文件。Hive 中的分区.原创 2021-09-11 01:52:20 · 422 阅读 · 0 评论 -
【硬刚Hive】Hive基础（17）：Hive语法(4) DML(3) DQL(2)Join 语句/ 排序
欢迎关注博客主页：微信搜：import_bigdata，大数据领域硬核原创作者_王知无(import_bigdata)_CSDN博客欢迎点赞、收藏、留言 ，欢迎留言交流！本文由【王知无】原创，首发于 CSDN博客！本文首发CSDN论坛，未经过官方和本人允许，严禁转载！本文是对《【硬刚大数据之学习路线篇】从零到大数据专家的学习指南(全面升级版)》的Hive部分补充。4 Join 语句4.1 等值 JoinHive 支持通常的 SQL JOIN 语句。1）案例实操（1）根据...原创 2021-09-11 01:36:32 · 331 阅读 · 0 评论 -
【硬刚Hive】MYSQL/HIVESQL笔试题（七）：HIVESQL（七）
欢迎关注博客主页：微信搜：import_bigdata，大数据领域硬核原创作者_王知无(import_bigdata)_CSDN博客欢迎点赞、收藏、留言 ，欢迎留言交流！本文由【王知无】原创，首发于 CSDN博客！本文首发CSDN论坛，未经过官方和本人允许，严禁转载！本文是对《【硬刚大数据之学习路线篇】从零到大数据专家的学习指南(全面升级版)》的Hive部分补充。题目一：计算平台的每一个用户发过多少朋友圈、获得多少点赞已知，数据如下：T1：10万行数据T2：1000万行...原创 2021-09-11 01:30:35 · 442 阅读 · 0 评论 -
【硬刚Hive】MYSQL/HIVESQL笔试题（六）：HIVESQL（六）
欢迎关注博客主页：微信搜：import_bigdata，大数据领域硬核原创作者_王知无(import_bigdata)_CSDN博客欢迎点赞、收藏、留言 ，欢迎留言交流！本文由【王知无】原创，首发于 CSDN博客！本文首发CSDN论坛，未经过官方和本人允许，严禁转载！本文是对《【硬刚大数据之学习路线篇】从零到大数据专家的学习指南(全面升级版)》的Hive部分补充。面试题目一场景:一个日志表中记录了某个商户费率变化状态的所有信息，现在有个需求,要取出按照时间轴顺序，发生了状态变化的数据行.原创 2021-09-11 01:25:56 · 396 阅读 · 0 评论 -
【硬刚Hive】Hive基础（16）：Hive函数(8) 常用函数
欢迎关注博客主页：微信搜：import_bigdata，大数据领域硬核原创作者_王知无(import_bigdata)_CSDN博客欢迎点赞、收藏、留言 ，欢迎留言交流！本文由【王知无】原创，首发于 CSDN博客！本文首发CSDN论坛，未经过官方和本人允许，严禁转载！本文是对《【硬刚大数据之学习路线篇】从零到大数据专家的学习指南(全面升级版)》的Hive部分补充。常用日期函数unix_timestamp:返回当前或指定时间的时间戳select unix_timestamp();sel.原创 2021-09-11 01:20:42 · 364 阅读 · 0 评论 -
【硬刚Hive】MYSQL/HIVESQL笔试题（五）：HIVESQL（五）
欢迎关注博客主页：微信搜：import_bigdata，大数据领域硬核原创作者_王知无(import_bigdata)_CSDN博客欢迎点赞、收藏、留言 ，欢迎留言交流！本文由【王知无】原创，首发于 CSDN博客！本文首发CSDN论坛，未经过官方和本人允许，严禁转载！本文是对《【硬刚大数据之学习路线篇】从零到大数据专家的学习指南(全面升级版)》的Hive部分补充。10手写HQL第10题1.用一条SQL语句查询出每门课都大于80分的学生姓名name kecheng ......原创 2021-09-11 01:18:39 · 697 阅读 · 0 评论 -
【硬刚Hive】MYSQL/HIVESQL笔试题（四）：HIVESQL（四）
欢迎关注博客主页：微信搜：import_bigdata，大数据领域硬核原创作者_王知无(import_bigdata)_CSDN博客欢迎点赞、收藏、留言 ，欢迎留言交流！本文由【王知无】原创，首发于 CSDN博客！本文首发CSDN论坛，未经过官方和本人允许，严禁转载！本文是对《【硬刚大数据之学习路线篇】从零到大数据专家的学习指南(全面升级版)》的Hive部分补充。7手写HQL第7题有一个线上服务器访问日志格式如下（用sql答题）时间接口......原创 2021-09-11 01:10:40 · 420 阅读 · 0 评论 -
【硬刚Hive】MYSQL/HIVESQL笔试题（三）：HIVESQL（三）
欢迎关注博客主页：微信搜：import_bigdata，大数据领域硬核原创作者_王知无(import_bigdata)_CSDN博客欢迎点赞、收藏、留言 ，欢迎留言交流！本文由【王知无】原创，首发于 CSDN博客！本文首发CSDN论坛，未经过官方和本人允许，严禁转载！本文是对《【硬刚大数据之学习路线篇】从零到大数据专家的学习指南(全面升级版)》的Hive部分补充。4手写HQL第4题已知一个表STG.ORDER，有如下字段:Date，Order_id，User_id，amount。请...原创 2021-09-11 01:05:40 · 449 阅读 · 0 评论 -
【硬刚Hive】MYSQL/HIVESQL笔试题（二）：HIVESQL（二）
欢迎关注博客主页：微信搜：import_bigdata，大数据领域硬核原创作者_王知无(import_bigdata)_CSDN博客欢迎点赞、收藏、留言 ，欢迎留言交流！本文由【王知无】原创，首发于 CSDN博客！本文首发CSDN论坛，未经过官方和本人允许，严禁转载！本文是对《【硬刚大数据之学习路线篇】从零到大数据专家的学习指南(全面升级版)》的Hive部分补充。1手写HQL第1题表结构：uid,subject_id,score求：找出所有科目成绩都大于某一学科平均成绩的学生...原创 2021-09-11 00:48:33 · 430 阅读 · 0 评论 -
【硬刚Hive】MYSQL/HIVESQL笔试题（一）：HIVESQL（一）分组求TopN/行转列/列转行
欢迎关注博客主页：微信搜：import_bigdata，大数据领域硬核原创作者_王知无(import_bigdata)_CSDN博客欢迎点赞、收藏、留言 ，欢迎留言交流！本文由【王知无】原创，首发于 CSDN博客！本文首发CSDN论坛，未经过官方和本人允许，严禁转载！本文是对《【硬刚大数据之学习路线篇】从零到大数据专家的学习指南(全面升级版)》的Hive部分补充。1 分组求TopN一、先看数据：使用HiveSQL常用的方式为：Select * from table,ro.原创 2021-09-11 00:43:11 · 594 阅读 · 0 评论 -
【硬刚Hive】Hive实战(6)：完整案例（二）业务分析
欢迎关注博客主页：微信搜：import_bigdata，大数据领域硬核原创作者_王知无(import_bigdata)_CSDN博客欢迎点赞、收藏、留言 ，欢迎留言交流！本文由【王知无】原创，首发于 CSDN博客！本文首发CSDN论坛，未经过官方和本人允许，严禁转载！本文是对《【硬刚大数据之学习路线篇】从零到大数据专家的学习指南(全面升级版)》的Hive部分补充。4.1 统计视频观看数 Top10思路：使用 order by 按照 views 字段做一个全局排序即可，同时我们设置只显示.原创 2021-09-11 00:38:58 · 452 阅读 · 0 评论 -
【硬刚Hive】Hive实战(5)：完整案例（一）准备
欢迎关注博客主页：微信搜：import_bigdata，大数据领域硬核原创作者_王知无(import_bigdata)_CSDN博客欢迎点赞、收藏、留言 ，欢迎留言交流！本文由【王知无】原创，首发于 CSDN博客！本文首发CSDN论坛，未经过官方和本人允许，严禁转载！本文是对《【硬刚大数据之学习路线篇】从零到大数据专家的学习指南(全面升级版)》的Hive部分补充。1 需求描述统计硅谷影音视频网站的常规指标，各种 TopN 指标：-- 统计视频观看数 Top10-- 统计视..原创 2021-09-11 00:34:12 · 468 阅读 · 0 评论 -
【硬刚Hive】Hive高级(7)：优化(7) 数据倾斜问题剖析
欢迎关注博客主页：微信搜：import_bigdata，大数据领域硬核原创作者_王知无(import_bigdata)_CSDN博客欢迎点赞、收藏、留言 ，欢迎留言交流！本文由【王知无】原创，首发于 CSDN博客！本文首发CSDN论坛，未经过官方和本人允许，严禁转载！本文是对《【硬刚大数据之学习路线篇】从零到大数据专家的学习指南(全面升级版)》的Hive部分补充。数据倾斜问题剖析数据倾斜是分布式系统不可避免的问题，任何分布式系统都有几率发生数据倾斜，但有些小伙伴在平时工作中感知不是很明.转载 2021-09-11 00:30:56 · 461 阅读 · 0 评论 -
【硬刚Hive】Hive高级(6)：优化(6)explain执行计划详解（一）
欢迎关注博客主页：微信搜：import_bigdata，大数据领域硬核原创作者_王知无(import_bigdata)_CSDN博客欢迎点赞、收藏、留言 ，欢迎留言交流！本文由【王知无】原创，首发于 CSDN博客！本文首发CSDN论坛，未经过官方和本人允许，严禁转载！本文是对《【硬刚大数据之学习路线篇】从零到大数据专家的学习指南(全面升级版)》的Hive部分补充。导读：不懂hive中的explain，说明hive还没入门，学会explain，能够给我们工作中使用hive带来极大的便利！..原创 2021-09-11 00:23:58 · 478 阅读 · 0 评论 -
【硬刚Hive】Hive基础(15)：HIVE语法(8)DML(5)DQL(4)流程控制语句(二) CASE
欢迎关注博客主页：微信搜：import_bigdata，大数据领域硬核原创作者_王知无(import_bigdata)_CSDN博客欢迎点赞、收藏、留言 ，欢迎留言交流！本文由【王知无】原创，首发于 CSDN博客！本文首发CSDN论坛，未经过官方和本人允许，严禁转载！本文是对《【硬刚大数据之学习路线篇】从零到大数据专家的学习指南(全面升级版)》的Hive部分补充。简单CASE WHEN函数：CASE SCORE WHEN 'A' THEN '优' ELSE '不及格' END....原创 2021-09-11 00:16:08 · 380 阅读 · 0 评论