redis
NO23412号菜狗
这个作者很懒,什么都没留下…
展开
-
Hive Sql - Multi Distinct(多个distinct在同一个query中) 优化
Hive Sql - Multi Distinct(多个distinct在同一个query中) 优化_xw514124202的博客-CSDN博客_hive 多个distinct原创 2021-09-20 19:48:22 · 452 阅读 · 0 评论 -
mysql查询时取多条记录中最大时间的记录
(113条消息) mysql查询时取多条记录中最大时间的记录_安小飞的博客-CSDN博客原创 2021-09-09 18:52:53 · 927 阅读 · 0 评论 -
hive窗口函数/分析函数详细剖析
hive窗口函数/分析函数详细剖析 - SegmentFault 思否原创 2021-09-01 19:14:46 · 121 阅读 · 0 评论 -
Hive Sql - Multi Distinct(多个distinct在同一个query中) 优化
背景当多个 distinct 操作同时出现在 select 中,数据会分发多次。容易造成Reduce数据倾斜优化点1、如果不要求精确值,可以使用 spark-sql approx_count_distinct函数 (基数计数 hyperloglog)2、修改SQL基础数据准备如下, 需要计算 不同渠道下的 不同周期 的访问uvpresto:bi> desc tmp.multi_distinct_test;Column | Type | Extra | Comment -...原创 2021-06-03 17:20:23 · 274 阅读 · 0 评论 -
hive sql 常用技巧
1.多行合并多行合并常用于做区间统计,通过定义一定的金额区级,将上亿的记录降维为不同区间内总数。概括来说就是多映射到一。典型场景:基于用户交易天流水,计算每天不同金额段的金额笔数。如用户的天交易流水表结构如上,需要计算出交易额在0-100,100-200,200-300,大于300几个区级的笔数,CREATE VIEW t_deal_tmp_view_1 ASSELECT CASE WHEN rcv_amount <= 100 THEN 1原创 2021-03-21 15:45:52 · 1711 阅读 · 0 评论 -
HIVE中 ROW_NUMBER() OVER() 简单用法
背景描述用户IMEI表中,存在一个用户多个IMEI号的情况,需要取得用户最新的IMEI号解决思路考虑使用 max(time) 函数,依靠最大时间取得。但是这种方式生成的MapReduce效率极低,因此考虑使用 ROW_NUMBER() OVER 函数代码示例select tm.imei,tm.interested_tagsfrom ( select imei,interested_tags,ROW_NUMBER() OVER (PARTITION BY imei ORDE...原创 2021-03-02 12:27:10 · 1684 阅读 · 0 评论 -
hive sql distince的一个例子
1.优化distinct优化前,数据全部放在一个reduce里select count(distinct ip)from(select id from tableaunion allselect id from tableb) ta优化后,数据先分布到不同的reduce中,再统一selectcount(*)from(select idfrom(select id from from tableaunion allselect id from tabl...原创 2021-02-03 11:33:56 · 142 阅读 · 0 评论 -
一文看懂所有Redis基础知识
前言Redis在互联网技术存储方面使用如此广泛,几乎所有的后端技术面试官都要在Redis的使用和原理方面对小伙伴们进行360°的刁难。作为一个在互联网公司面一次拿一次offer的面霸(请允许我使用一下夸张的修辞手法),打败了无数竞争对手,每次都只能看到无数落寞的身影失望的离开,略感愧疚,在一个寂寞难耐的夜晚,我痛定思痛,决定开始写吊打面试官系列,希望能帮助各位读者以后面试势如破竹,对面试官进行3...转载 2020-01-03 09:05:14 · 129 阅读 · 0 评论