- 博客(346)
- 资源 (43)
- 收藏
- 关注
RSS订阅转载 时序特征分析：时域特征表达式【PHM】
由计算公式可知，当 标准差 小于 正常标准差 时，即观测值分散程度较小时，k增大，此时分布曲线峰顶的高度大于正常曲线的峰度，称为正峭度，k>3;K值的计算是在概率密度函数标准化后进行的，当转速或载荷变化虽然也发生变化，但其均值和标准差也随之变化，幅值概率密度函数的形状与原工作状况无太大差别，对轴承故障的发展程度反映不很敏感，所以K值变化不大。与峰值因子类似，方根幅值和均方根值（有效值）是对应的，均方根的公式是信号平方和的平均值的算术平方根，方根幅值是算术平方根的平均值的平方（有点绕）。
2024-09-26 14:40:23
43
原创 解锁SQL无限可能 | 如何利用SQL巧解最短路径问题
对于 “a -> b” 这条路线而言，b 是 a 要到达的目的地，假如这条路线加入了 d ，变成 “a -> b -> d”，那么 b 就成了到达 d 前的出发点。比如，从 a -> d 的路线就有 a -> b -> d 和 a -> c -> d 两条。在递归表达式中，初始的数据应该是列举出能从 a 点直接到达的地点及相应的距离，目前有 a -> b、a -> c 这两条路线。业务阶段的模型该如何建设？7）指标发生异常，该如何排查？9）数仓团队应如何体现自己的业务价值，讲好数据故事？
2024-09-25 08:00:00
1209
原创 趣味SQL | 如何利用SQL巧解公务员考试逻辑题
A、B两男士好奇问C女士年龄C 女士给出 11个可能答案:35、36、38.42、45、46.51、55、57、61、62.C将十位数告诉 A，将个位数告诉 B。A 说:我不知道℃女士年龄，B也不知道。B 说:原本我不知道的，但现在知道了!A 说:现在我也知道了!请问C女士年龄是多少?
2024-09-24 09:00:00
912
原创 SQL进阶技巧：如何利用if语句简化where或join中的条件 | if条件语句的优雅使用方法
在user_purchase的基础上加上用户年龄字段，但是user_purchase中存在用户ID大量为null的情况，和user_info关联的话会产生数据倾斜，需要做一下倾斜处理。有两张表，一张用户下单表user_purchase（用户ID粒度）包含用户ID、订单ID和下单消耗金额和一张用户维表user_info包含用户ID、用户年龄和用户是否实名认证。这种写法更加易读简洁。我想取出所有认证过的用户，如果用户没有认证过，就取出年龄大于18岁的用户。9）数仓团队应如何体现自己的业务价值，讲好数据故事？
2024-09-24 08:00:00
1110
原创 数仓规范：命名规范如何设计？
数据仓库建设的目的仍是为了下游应用，因此，降低下游用户的应用成本是至关重要的。下面这些问题，你可以看看是否遇到过。很多表名非常类似，涉及各个层级的数据，也不知道粒度如何，用起来非常混乱！表内的字段名特别乱，甚至不同表中相同含义字段的命名不一致！任务名与表名差异很大，很难找到表对应的调度任务是哪一个！以上这些问题，都是由于命名不规范所导致的。那规范的命名又包括哪些方面呢？下面，我们一起来看一下。
2024-09-22 22:36:04
627
原创 一份热乎的阿里25届数据分析面试题
（1）利用数据分析和统计学的知识，判断如何找到母婴人群和游戏人群，因为浏览母婴的人不一定是母婴人群，有可能是代购和邦亲朋好友购买。假设每个人只能用五类 app 中的几种(母婴，旅游，社交，游戏，网贷)，我们有这些 app过去 180 天的序列数据←。Behavior 数据很脏，标点中英文都有，而且有很多无规律的空格，用户 id 是有规律的，可以理解成身份证号。（4）Behavior 数据很长，而且数据很脏，如何最小代价的找到对应的 app 及档次←。9）数仓团队应如何体现自己的业务价值，讲好数据故事？
2024-09-22 18:38:03
800
原创 趣味SQL | 从围棋收官到秦楚大战的数据库SQL实现(中）
嬴华：秦占得城池为：平原1（80）、平原2（75）、草原1（70）、草原2（65）、山水1（60）、高原2（180），合计555。每逢大王弈出双先，您必应之，从未反击，此乃败因所在。若按原先顺序不考虑大小，秦将获得6座城池（平原1、平原2、草原1、草原2、山水1、高原2），楚则得2座城池（山水2、高原1）。嬴驷：懂了，楚先手山水2面积为85，倍之也仅170，而后手的高原2面积为180，超山水2两倍有余，故优先取之。对了，驷儿、华儿，围棋的每一手棋并非一样大，城池亦如此，若考虑城池大小，攻城之策又当如何？
2024-09-19 08:00:00
848
原创 SQL进阶技巧：火车票相邻座位预定一起可能情况查询算法 ？
现在这趟车某个车厢里每排的座位的编号是 A、B、C、D、F，其中，A 和 F 是靠窗位置，C 和 D 之间是过道。本文给出了一种火车票相邻座位预定一起可能情况查询算法 ，采用了两种思路进行求解，一种利用分析函数，采用窗口子句range进行逻辑计算相邻情况，一种利用自关联的形式，控制关联条件进行求解。注意此处必须座位编号是连续的，为了找出连续的3个座位我们使用了窗口子句，此时窗口的范围应该使用range子句而不是rows，利用range进行逻辑上的计算来判断是否连续。业务阶段的模型该如何建设？
2024-09-15 21:36:56
1642
原创 解锁SQL无限可能 | 基于SQL实现的一种时序数据的波峰个数检测算法
序列数据是按照时间进行采集，其中400个点一个周期，一条数据共10个周期，即4000个点。首先针对序列数据判断每个周期是否存在波峰，并在存在波峰的情况下进行波峰形状识别。5）业务指标体系该如何建设？如果觉得本篇文章对你还有点帮助，那么不妨也可以选择去看看我的博客专栏文章，里面内容更精彩。业务阶段的模型该如何建设？7）指标发生异常，该如何排查？11）数据部门如何与业务部门沟通，并规划指引业务需求？9）数仓团队应如何体现自己的业务价值，讲好数据故事？文章不限于以上内容，有新的想法也会及时更新到该专栏。
2024-09-14 16:57:00
1486
原创 数仓建设：为什么我们的数据容易被业务方质疑？
在数字化建设进程中，无论是处于数据产品的你，或是数据开发的你，还是数据分析的你，相信对这一问题并不陌生，或多或少都会被业务方质疑过数据可信度的问题，有时候一个BI项目很难被认可或是推广下去，其很大一部分因数就是遭到业务方对数据的质疑，或是数据驱动决策的质疑。本文从多个角度分析了数据容易被业务方质疑，不被信任的原因，并给出了相应的解决方案，其关键在于提高组织文化中的数据意识，及采用可视化分析、数据质量管理等技术工具，增强数据的透明度和可访问性。通过上面的分析，我们可以看到造成数据不信任的原因有多种。
2024-09-14 13:51:02
883
原创 从12306改签困惑到数据库SQL语言设计
当然了，在春运这种一票难求的时候，就不用考虑折扣了，能多送一个乘客回家团圆，那可是功德无量的事。然而，现有系统只能查询和分配全程相同的座位，无法识别这种分段组合的可能性。我们可以做一个最小化的例子来示例说明一下该如何实现，以下是最简化的设计说明，实际情况当然远比这要复杂的多！这个查询有效地找出了允许换座情况下的最佳座位组合，展示了如果系统支持分段座位分配，是可以完成全程订票的。其实如果12306允许自动给乘客分段分配座位（即到不同的站换不同的座位），问题就可以解决。业务阶段的模型该如何建设？
2024-09-13 15:01:53
1029
原创 SQL进阶技巧：如何将字符串数组清洗为简单map结构? | translate + regexp_replace方法
本文给出了一种将将字符串数组清洗为简单map结构的解决方案，采用两种方法进行求解，其中方法1比较通用，当字符串数组中key值较多，依然适用，主要采用translate + regexp_replace函数进行数据的清洗和转换，假如有一个从系统日志中提取的配置单元表，数据以一种奇怪的格式（映射数组）编码，其中数组的每个元素都包含field_name和它的value。问题的目标是构建一个K-V信息的新的map，从结果可以看出原始的映射数组中field,value这些字符串为无用信息。业务阶段的模型该如何建设？
2024-09-13 08:00:00
1009
原创 SQL进阶的技巧：如何实现某列的累计乘积？
本题主要利用数学中对数加法原理及对数恒等式进行求解，具有很强的技巧性，在实际分析中如复利累积场景中会遇到。
2024-09-11 22:46:29
1267
原创 数仓建模：数仓设计中的10个陷阱
数仓的建设是需要统筹规划的，而不是随便一个取数的Ad-Hoc，与业务系统有着本质的区别，数仓的建设最怕的就是业务分析人员或业务开发人员直接拿来当业务系统使用，最后做成与传统的数据库没什么区别。模型真的重要吗，毫无疑问是重要的，但是也是有轻重缓急的时候，为了设计完美的模型而不支持需求就大错特错了，实际的操作过程中有很大的弹性空间，不可被理论禁锢，停滞不前。这种情况在传统的企业尤其重要，一般互联网公司，数据是内置在基因里面的，对数据重视程度是非常高的，所以利用数据指导业务是顺其自然的事情。指标体系该如何维护？
2024-09-10 22:29:13
870
原创 趣味SQL | 从围棋收官到秦楚大战的数据库SQL语言实现
最近经常接触围棋，忽然有灵感，就用古代战争做比喻，粗浅写一个围棋官子和数据库结合的文章，顺便普及普及围棋，兄弟们多多指点。文中SQL的逻辑是假设这按这个收官顺序规则去抢夺城池，套规则进去的，如果是能分析出什么顺序组合，才更有意义，大家一起讨论讨论，如果考虑大小就会很复杂，还有你我都可以不理双先的情况，考虑收益与损失比就更复杂了。~欲知后事如何，请关注石榴姐公众号“会飞的一十六”~想进一步了解SQL这门艺术语言的可以订阅我的专栏数字化建设通关指南。
2024-09-10 15:05:36
1048
原创 SQL进阶技巧：如何获取数组中前N个元素？
本文给出了获取数组中前N个元素的技巧和方法，采用了两种分析方法，其中第二种方法最为优雅。如果指定的元素个数比较少，也可以通过数组枚举的形式获取，比如本题也可以通过arr[0],arr[1],arr[2]获取前三个元素，但是当指定的元素个数比较多时，这种方法就不太适用。
2024-09-09 15:08:04
410
原创 数据分析面试题：物流线路主题分析
本题难度不高，但属于业务场景化的题目，更面向于实际业务分析，这也正是我们在文章面试SQL题的水到底有多深？一文带你揭晓-CSDN博客中提到的目前SQL面试题越来越偏向业务化、场景化，需要面试者有较好的业务理解能力和沟通能力。
2024-09-09 10:35:45
395
原创 数据分析面试题：如何分析每日平均每件商品的锁定时长问题？
本文针对实际数据分析领域面试题进行详细讲解，重点分析了秒杀时商品的Hold时长问题，也是本文重点及难点问题，在限定时间25分钟内完成本题4个问题有一定难度，这也体现了目前数据分析SQL面试题越来越难也越来越具备选拔性，特别对SQL的考察更注重问题的分析能力及思维性的考察，要足够熟练才能在规定时间内完成。
2024-09-07 15:21:24
136
原创 SQL进阶技巧：每年在校人数统计 | 区间重叠问题
有一个录取学生人数表 in_school_stu，记录的是每年录取学生的人数及录取学生的学制，计算每年在校学生人数。本文对在校学生人数统计这一问题进行了分析，如果对本专栏区间重叠问题这一技巧和方法比较熟的，解决该问题会非常简单。通过上面简单的分析可以看到该问题为典型的区间重叠问题，将时间展开后，具体分析可参考如下图。本题实际上属于区间重叠问题，我们将入年份与学制加起来得到结束时间。第一步：利用posexplode()先将数据展开，转换为明细表。第二步：基于步骤1的明细表，按时间汇总即可。
2024-09-06 16:07:03
758
原创 数仓建模：设计上规范应如何做？ | 数仓建设规范
在技术架构选型确定后，就需要对数据仓库主体分层进行划分，将原始明细数据存储于数据接入层，通过各分层的加工处理，最终输出到贴近业务的数据应用层，如下图所示：对于业务逻辑比较复杂的我们也可以抽象出基础指标层，按照实体建模，对同一对象的指标合并。DWD（明细数据层）：又叫清洗层，和ODS层数据粒度一致，该层主要是对原始数据进行ETL操作，包括数据去重、脏数据过滤、空值处理、字段映射、数据脱敏、缺失值补充等操作，目的是为了保证数据质量。，比如财务主题、采购主题、生产主题、 库存主题、销售主题、服务主题。
2024-09-06 08:30:00
207
原创 SQL进阶技巧：如何利用SQL解决趣味赛马问题？| 非等值关联匹配问题
这类问题的一般处理思路有两种：一种是利用先分后合的思想，先利用行转列，UNION 的方式来分别处理各自类型的数据，最终在合并汇总；一种是利用构建维度表（如本题中的马表）关联数据表的形式进行非等值匹配，这种构建维度表再关联数据表的形式在数仓开发中非常常见，两种方法都很巧妙均需要掌握。分别算出每种获奖名词类型下的每匹马的获奖次数，最终将每匹马的获奖次数相加即可。业务阶段的模型该如何建设？9）数仓团队应如何体现自己的业务价值，讲好数据故事？，可以看出只要马获奖即可，并不关心马是前三名中的哪一个名次。
2024-09-05 09:00:00
1308
原创 数仓建模：如何有效构建DWB/DWM层？ | 基于案例实战分析
DWB层又叫基础数据层或数据中间层，这一层可以理解为实体建模，主要基于某些对象，进行数据的整合，一般为了最终的聚合提前对数据做一些准备。与DWD层主要区别在于DWD层功能定义为数据清洗层，主要进行ETL，和ODS层数据粒度保持一致，该层数据模型主要在于整合，将同一对象的数据按照业务过程进行合并，并沉淀出基础的数据指标，为DWS层最终的数据聚合做准备。
2024-09-05 08:30:00
265
原创 读者提问：数据建模听起来好高大尚，但很抽象，该怎么理解 ？| 什么是数据建模？
数据是对事实的反应，将客观存在的事物用数值的形式反应出来。以35°C为例，“温度是35°C”代表不了任何东西。它有可能是今天的天气，也有可能是水温，我们一般认为它只是一个数字事实，而“2024年9月4号上午10点，重庆市的温度是40°C”则是一个更加场景化的数据。实际上，大部分数据都是依赖于场景，我们不能脱离场景来看数据。以连锁零售行业为例，两个门店日销售额分别达到5000元和8000元，仅凭这两个数字来单独评判其经营情况，其实是有失公平的。我们要看它在一线还是二线城市？
2024-09-04 11:50:09
1167
原创 解锁SQL无限可能 | 利用SQL实现13位条码检测算法
5）业务指标体系该如何建设？指标体系该如何维护？算法：给定一个n位的数字字符串，取出这个条码字符串的前n-1位数字，用公式计算，看结果是都等于n位。关于此类利用SQL处理算法的问题很多，具体请参考我的“（3）用S1减去S2，将结果对10取模，然后计算绝对值。业务阶段的模型该如何建设？7）指标发生异常，该如何排查？11）数据部门如何与业务部门沟通，并规划指引业务需求？9）数仓团队应如何体现自己的业务价值，讲好数据故事？1）新人入职新公司后应如何快速了解业务？利用算法原理进行简单推导，看看具体是如何工作的。
2024-09-04 09:00:00
1333
原创 数仓建模：一文带你读懂什么是数仓建模？ | 详聊数据建模的几种形式
本文对数据建模的全流程进行了剖析，详细介绍了数据建模的流程、维度建模、范式建模、及关系建模的全过程。企业可以根据自身的发展情况及所处的阶段、业务所处的形态选择合适的建模流程、规范及数据模型，数仓建模其主要的目的是为了更好的支撑上层应用及业务的发展。
2024-09-03 14:41:30
513
原创 业务部门提出我们已经有报表了为什么还要上BI？ | BI与报表区别和联系？
业务部门会有上面的质疑，其主要原因还是对BI认知不清，这时候就需要IT负责推进的人员对BI做出解释。那么什么是BI？从长期的实践来看，BI是建立在数据仓库基础之上，通过构建企业价值指标体系，从战略目标出发，将数据转换为信息和知识，为企业提供决策的分析系统，是大数据应用的产物，属于数据价值直接体现者。
2024-09-03 10:13:35
289
原创 SQL进阶技巧：给定数字的频率查询中位数 | 中位值计算问题
按照中位数定义求解，寻找两边的值，计算由低到高对应中间位置的值及由高到底对应中间位置的值，最后计算平均值。中位数是按顺序排列的一组数据中居于中间位置的数，即在这组数据中，有一半的数据比他大，有一半的数据比他小，这里用来表示中位数。
2024-09-02 16:43:23
427
原创 SQL进阶技巧：如何取时间序列最新完成状态的前一个状态并将完成状态的过程进行合并？
本文针对获取时间序列最新完成状态的前一个状态并将完成状态的过程进行合并这一问题进行分析，并给出了多种方案及求解过程。
2024-09-02 14:39:28
318
原创 SQL进阶技巧：经典问题题-换座位
利用求余函数mod对id求余进行奇偶判断 mod(id,2),当mod(id,2) = 1表示奇数取lead值，当mod(id,2)=0为偶数取lag值.注意点：如果最后一行为奇数行，则保持不变，也就是最后一行当mod(id,2) = 1时取lead值为NULL则取本身，利用nvl()函数进行转换。本文分析了经典SQL问题换座位问题，主要利用lag(),lead(),mod()函数求解。如果学生的数量是奇数，则最后一个学生的id不交换。该表的每一行都表示学生的姓名和 ID。id 是一个连续的增量。
2024-09-01 19:42:32
379
原创 SQL进阶技巧：计算每个uid上一笔成功订单id | 近距离有效匹配问题【last_value ignore nulls实现版】
求：每个uid上一笔成功订单id，没有的记录为null，状态值：1-成功 0-失败id time uid is_suc 结果列。
2024-09-01 17:36:39
116
原创 面试SQL题的水到底有多深？一文带你揭晓
以上就是今天想要和大家分享的内容，无论是正在学习的你，还是面试的你，在如今大环境下，大家一定要沉得住气，切记眼高手低，心态不稳，最后只会落得 “心比天高，命比纸薄”，一无所获而归。另外，在学习或求职过程中大家也需要在有限的时间里选择做正确的事情，和正确的赛道，方向不对，努力也白费，毕竟时间对每个人也是公平的。数字化建设通关指南主要内容：（1）SQL进阶实战技巧可以参考如下教程，具体链接如下SQL很简单，可你却写不好？也许这才是SQL最好的教程_sql语句写的很烂怎么办-CSDN博客。
2024-08-31 21:53:52
1238
原创 SQL进阶技巧：近N指标如何精确计算并扩充？
假设表price 有三个字段 用户： user_id 日期：dt 订单金额 price，求每个用户的近N天的消费金额近N指标的种类多，且日期跨度近期密，远期大。表price :结果:近N：rds(recent_days)
2024-08-31 09:00:00
349
原创 数据分析面试题：如何分析基于绝对中位差的异常值检测问题？
本文分析了一种基于绝对中位差的异常值检测问题，首先，计算中值，然后计算这个中值与各个值的绝对偏差的中值，即绝对中位差。然后，使用查询来找出每个值相对于中值的偏差与绝对中位差的比值。接下来，就可以像使用标准偏差那样使用这些比值了。如果一个值相对于中值的偏差是绝对中位差的 3 倍以上，就可以认为它是异常值。
2024-08-30 14:52:15
476
原创 SQL进阶技巧：如何查询最近一笔有效订单？ | 近距离有效匹配问题
本文所分析的案例在实际场景中经常被用到，对于支持lag()函数 ignore nulls语法的数据库，本问题就很简单，但对于Hive等数据库不支持该语法时，略会麻烦一些，针对本题我们采用一分为二的方式，对订单有效和无效分开求解，当为有效值时候，利用ag()函数正常求解，当为无效时候，由于会存在多个连续状态一致的，为了能够获取最近有效的状态，我们采用last_value()函数ignore nulls语法来实现，最终通过coalesce()函数将两种状态合并，得到最终的结果。
2024-08-29 09:00:00
325
原创 SQL进阶技巧：用户商品购买、收藏行为特征分析 | FULL JOIN问题
已知有购买记录表t2_order,包含自增id:id,用户ID:user_id，商品ID:goods_id,订单时间：order_time,商品类别：goods_type;
2024-08-28 14:55:27
134
1
原创 SQL进阶技巧：如何对不同表结构合并计算 | FULL JOIN问题
某个游戏中的元宝分为，付费元宝和免费元宝。玩家购买商城道具时候，可以使用付费元宝也可以使用免费元宝。请使用HIve SQL语句计算出2021-01-01至2021-01-07期间各个角色当日消耗元宝的付费免费比例（付费免费比 = 付费元宝消耗量 / 免费元宝消耗量）示例：结果输出。
2024-08-28 10:08:59
97
数据分析+hive基础及进阶SQL练习题+面试
2024-08-12
微众银行数据开发项目实战
2024-08-09
采购全流程闭环分析体系建设
2024-08-09
基于实际案例的HiveURL解析函数实战
2024-08-01
大数据数据仓库建设规范
2024-08-01
SQL企业真实笔试题详解
2024-07-25
史上最详细的CDH安装运维优化手册
2024-07-25
铁路行业通用数字化解决方案
2024-07-25
数据指标体系建立实战方法
2024-07-02
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人