- 博客(18)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 MySQL 8.0新特性（第一篇）—开窗函数
MySQL从5.X直接蹦到8.0时代，从甲骨文收购其之前就是5.1，收购之后5.X版本陆续发布到5.7，8.0可谓是一次突飞猛进的改变，一堆新特性的加持，让MySQL在NoSQL、NewSQL横行的年代，重焕生机。MySQL在5.X时代，就没有开窗函数，着实让使用SQL的小伙伴们难受啊，我甚至写过一篇MySQL5.X用集合思维来实现开窗函数的功能。开窗函数作为一种高级函数，Oracle早就加持了，终于在8.0版本，MySQL也有了。开窗函数名([<字段名>...
2021-08-15 21:25:17
442
原创 Python实现Apriori算法
目录1.场景与需求：2.环境准备：3.数据准备与处理：4.关联规则挖掘与代码说明：5.挖掘结果展示与算法说明：关联规则挖掘是数据挖掘中最活跃的研究方法之一，最早是针对购物篮分析问题提出的，其目的是为了发现交易数据库中不同商品之间的联系规则，这些规则刻画了顾客购买行为模式，可以用来指导商家科学地安排进货，库存以及货架设计等。而Apriori算法是第一个关联规则挖掘算法，也是其最经典的算法。 SPSS Modeler自然能实现，简单的拖拖拽拽，并且可以连...
2021-08-14 16:11:39
225
原创 实现windows端图形化连接Hive（免费工具篇：SQL Developer +Hive JDBC Driver）
Hive官网上介绍过几种windows端的连接方式，本文主要介绍如何使用Oracle SQL Developer连接hive。1.下载并解压Oracle SQL Developer从http://www.oracle.com/technetwork/developer-tools/sql-developer/downloads/index.html下载并解压SQL Developer 4.1.52.下载安装jdkjdk1.8的下载，安装，环境变量配置。这之类的文章很多，就...
2021-08-13 19:19:55
385
原创 Python实现RFM分析模型
目录背景知识： 1.场景与需求2.Python代码实现：3.Python代码解读：4.分析应用背景知识： RFM分析模型广泛应用于识别优质客户，是进行客户细分、精准营销，最流行、最简单、最有效的方法。依据RFM分析模型的结果可以定制个性化的沟通和服务方案，并为营销决策提供有力支持。 以往进行RFM分析模型，在数据量不多的情况下，我们可以采用SPSS的直销分析模块（如下图），导入数据，逐步点击就完成了。但是当面临个性化的需求时，这种定...
2021-08-10 20:59:45
154
原创 用Hive的HQL查询HBase中的数据
Hive与HBase同在Hadoop生态体系内。Hive可以看作Hadoop的SQL编程接口；HBase则是真正意义上的存储海量数据的分布列式数据库。生产环境中，HBase用作线上实时数据库，Hive用在离线数据处理、数据仓库领域。HBase中查询数据，不能使用大众熟知的SQL，也不支持复杂的查询。如果能使用Hive查询及操作HBase存储的数据，实现二者的互通互导，相互操作，那么其中的便利性不言而喻。首先不了解HBase的亲可以看一下我之前写过的一篇博文：《白话解说：SQL与NoSQL》h..
2021-08-09 21:33:40
551
原创 连通Hive与HBase，用SQL操作HBase
Hive与HBase同在Hadoop生态体系内。Hive可以看作Hadoop的SQL编程接口；HBase则是真正意义上的存储海量数据的分布列式数据库。生产环境中，HBase用作线上实时数据库，Hive用在离线数据处理、数据仓库领域。HBase中查询数据，不能使用大众熟知的SQL，也不支持复杂的查询。如果能使用Hive查询及操作HBase存储的数据，实现二者的互通互导，相互操作，那么其中的便利性...
2020-02-11 10:04:50
1324
原创 Hive在windows端的图形化连接工具安装使用
Hive官网上介绍过几种windows端的连接方式，本文主要介绍如何使用Oracle SQL Developer连接hive。1.下载并解压Oracle SQL Developer从 http://www.oracle.com/technetwork/developer-tools/sql-developer/downloads/index.html下载并解压SQL Dev...
2020-02-08 12:41:18
610
原创 面向集合的思维编写SQL（7-量化万物的谓词-Exists）（上）
1.什么是谓词何为SQL中的谓词，我们常见的比较（=，<,>）、between、like、in、is null、exist等都是谓词；我们可以将它看作一种特殊的函数，函数的返回值都是三值逻辑（true、false、unknow），用来判断“命题”的真假；而这些谓词常用在where子句中，我们可以视其为多个谓词的组合，从“命题”的集合中（表），找出真命题（真值）。2...
2020-02-08 12:40:12
287
原创 Hive图形化连接工具
Hive官网上介绍过几种windows端的连接方式，本文主要介绍如何使用Oracle SQL Developer连接hive。1.下载并解压Oracle SQL Developer从 http://www.oracle.com/technetwork/developer-tools/sql-developer/downloads/index.html下载并解压SQL Dev...
2020-02-08 11:00:57
2919
2
原创 面向集合的思维编写SQL（6-关系除法运算之新世界篇）
不知道宅在家里的各位亲有没有追一部《谁是小红袄》的剧...当然这个“追”字有点不严谨...因为剧情的速度都赶不上大家推理的速度...即使你只看了第1集，然后直接跳到第40集，也毫无违和感...那么关系除法又是什么呢？这里我们抛开数据库原理的讲解，从应用的角度讲一下何为关系除法：前言：关系除法经过之前的几片文章，我们知道数据库有并集、交集、差集、笛卡尔积运算，唯独没...
2020-02-08 09:42:15
156
原创 面向集合的思维编写SQL（5-数据去重）
1.场景与需求如下一张学生信息记录表，记录学生姓名、学生年级：数据中存在重复数据，需要清洗。2.SQL实现：（1）插入自增主键字段：处理结果如下：（2）使用except（3）使用not in...
2020-02-08 09:39:03
265
原创 RFM分析模型（Python篇）
RFM分析模型广泛应用于识别优质客户，依据RFM模型分析结果可以定制个性化的沟通和服务方案，并为营销决策提供有力支持。RFM分析模型属于探索性分析方法中的一种，即从海量数据中，依据R、F、M三个指标，获取高价值用户信息。R：Recency——用户最近一次交易时间的间隔。F：Frequency——客户最近一段时间内的交易次数。M：Monetary——客户最近一段时间内的交易金额。...
2020-02-06 09:52:23
904
原创 Apriori算法（Python篇）
关联规则挖掘是数据挖掘中最活跃的研究方法之一，最早是针对购物篮分析问题提出的，其目的是为了发现交易数据库中不同商品之间的联系规则，这些规则刻画了顾客购买行为模式，可以用来指导商家科学地安排进货，库存以及货架设计等。而Apriori算法是第一个关联规则挖掘算法，也是最经典的算法。以如下的场景为例，使用Python快速实现Apriori算法：1.场景与需求一家超市的业务数据库中有销售订单表...
2020-02-06 09:28:18
1436
原创 面向集合的思维编写SQL（4-筛选相同行为的用户）
1.场景与需求如下图，id记录用户的编号，name记录用户的行为；当前场景进行用户分类，将相同行为的用户查询出来。2.SQL实现：3.SQL解读：由于SQL的执行优先级： from > where > group by > having >select > order by ；所以where 筛选集合中的元素，group by ...
2020-02-06 09:19:58
429
原创 面向集合的思维编写SQL（3-手动实现except与intersect）
集合论虽然是SQL语言的基础之一，但是在早期的SQL 却不能很好的支持集合运算。受这点影响，各大数据库的支持程度也是参差不齐。SQL Server 从 2005版（关系型数据库已经发展20多年了...）才开始支持 INTERSECT 和 EXCEPT ，而同一时间点MySQL还不支持（还列在中长期发展计划中...）。用下面这个例子，看一下SQL的集合运算：1.场景与需求如下两张表...
2020-02-06 09:18:33
155
原创 面向集合的思维编写SQL（2-移动累积值）
上一篇初步的介绍了一下面向集合思维编写SQL实现开窗函数的功能；在这里也稍微介绍一下另外一种编写SQL的思维—面向过程，例如Oracle的PL/SQL，作为一种过程化的语言，以赋值、条件分支、循环等作为基本处理单元，并将系统整体分割成很多这样的单元的思维方式，在我看来，这更偏向于开发工作者。确实Oracle和MSSQL这两种付费的数据库，有大量的高级函数去简化数据工作，这二者也广泛应用于商...
2020-02-06 09:14:50
149
原创 面向集合的思维编写SQL（1-手动实现开窗函数）
第一部分：初试集合思维1.场景与需求我们有如下的一列价格数据，现在有这样一个需求，对其实现RANK()排序：2.SQL实现：我先展示代码：查询结果如下：3.SQL解读：现在返回头看代码，括号中的SQL是计算rank排名的核心，也是面向集合思维的运用，我们用一张图来展示一下：同理若要实现DENSE_RANK()，仅仅修改一处即可，即：count（dis...
2020-02-05 20:50:17
156
product.zip
2020-02-05
超市进销存管理系统-分权限-有数据库
2018-02-08
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人