SQL
哈士奇说喵
我的目标是星辰大海啊~
展开
-
SparkSql中时间阈操作【窗口函数】
本文主要总结了一些sql在时间阈上的操作,包括连续消费,最长签到,累计消费等问题,其实映射到其他业务场景也就变成了类似的计算;如游戏领域,连续登陆时间,连续签到时长,最大连续签到天数等常见的业务场景;方法都是共通的,这里就用sparksql来实现一些方法,hivesql的话有部分代码可能需要略微修改,比如having这种需要外面再套一层改成where等等就不再赘述构造数据进行测试为了比较好切割,我就用@进行拼凑了,第一个是日期,第二个是用户,第三个是否消费,第四个为消费金额20190531@156.原创 2020-06-17 15:01:14 · 1736 阅读 · 1 评论 -
SparkSql 2.2.x 中 Broadcast Join的陷阱(hint不生效)
问题描述使用hint指定广播表,却无法进行指定广播;前期准备hive> select * from test.tmp_demo_small;OKtmp_demo_small.pas_phone tmp_demo_small.age156 20157 22158 15hive> analyze table test.tmp_demo_small compute s...原创 2020-01-17 21:09:03 · 5902 阅读 · 2 评论 -
Python+MySQL用户加密存储验证系统(进阶)
Python 2.7 IDE Pycharm 5.0.3 PyMySQL 0.7.6 MySQL 5.7 MySQL Workbench 6.3至于MySQL和Python如何联调使用请看上期Python与MySQL联动实例一两则 我要填以前挖过的坑了,用户存储加密验证系统beta上线填坑&目的这坑是Python用户存储加密及登录验证系统(乞丐版)挖的,当时还不会使用数据库,现在学原创 2016-08-05 09:04:22 · 4417 阅读 · 0 评论 -
Python与MySQL联动实例一两则
Python 2.7 IDE Pycharm 5.0.3 PyMySQL 0.7.6 MySQL 5.7 MySQL Workbench 6.3回家有点颓废了,练个小内容,把抓到的数据写到SQL里面,存起来,以后用作数据分析用吧。扫盲MySQL读法: “My Ess Que Ell”(not “my sequel”)来,跟我读,“My Ess Que Ell”哈哈,这可是官方说法,是不是原创 2016-08-01 10:38:03 · 2977 阅读 · 0 评论 -
(大)数据处理:从txt到MySql的数据预处理迁徙
Python 2.7 IDE Pycharm 5.0.3 MySQL 5.7 MySQL Workbench 6.3前言学长毕业刚好在整大数据,从数据堂花了大价钱买的一个月的北京出租车GPS数据,一天大概11G,一个月就是350G左右,而且数据全部存在txt中,根本无法进行分析处理,而且重复数据非常多,这就需要把txt写到数据库中在进行操作了,于是,我尝试了自己的python。。。。。猜一原创 2016-09-01 19:54:46 · 1206 阅读 · 1 评论 -
解决:MySQL Load Data数据丢失问题
MySQL 5.7 MacOS Sirrea 10.12.1前言 很简单,我得文件里面20w数据,导入MySQL后只剩下16w条数据,无Deleted无Skipped排查方法 既然数据丢失了,那把成表后的数据全部导出,然后和原始的数据进行对比验证select * from db.table INTO OUTFILE '/usr/local/mysql-5.7.18-macos10.1原创 2017-07-13 20:57:40 · 8130 阅读 · 0 评论