自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(26)
  • 收藏
  • 关注

原创 Python小练习

新建工作簿,新建多个sheet页面,写入单元格内容,保存工作簿到指定文件夹,新建文件夹,新建多级目录

2022-11-14 18:12:51 259 1

原创 高频问题数据验证

高频数据问题,判断表是增量表还是全量表,判断两个字段关系,是不是一对一,一对多关系。

2022-10-23 20:09:03 278

原创 impala行转列问题

impala行转列问题

2022-10-18 08:51:46 1331 1

原创 数据测试常见错误

数据测试常见错误

2022-08-01 21:33:07 512

原创 row_number()函数随机排序

ID与XID是联合主键,row_number()里面只按ID分组,存在同一ID同一DT有多条数据,按DT降序排序会失效,此时函数会对这多条数据随机排出123名,每执行一次脚本,结果会有差异。如果外层查询是通过限制`WHERE RN=1`来取值,那取值结果就会存在随机性。...

2022-07-18 08:51:49 1377

原创 sublime如何设置鼠标选中后字体的颜色

text 3的默认主题黑色背景,鼠标选中后为灰色,对比不明显。如何改变鼠标选中后的字体颜色让显示效果更犀利。①打开 sublime text3 的安装路径 找到 Color Scheme - Default.sublime-package 也就是颜色主题包。...

2022-06-24 09:30:00 2094

原创 JOIN关联字段出现NULL值与空值

JOIN关联字段出现NULL值与空值的情况,如何处理

2022-06-08 17:54:32 4089 1

原创 SQL多表多字段比对方法

文章目录表-表比较整体思路找出不同字段的明细T1/T2两表ID相同的部分,是否存在不同NAME两表的交集与差集:判断两表某些字段是否相同两表的交集与差集:找出T2表独有的id字段-字段比较判断两个字段间一对多或多对一的关系证明id字段不是主键证明id, name字段不是联合主键数据准备表-表比较整体思路两张表条数一样条数相同是前提,然后比较字段值才有意义两表字段值完全相同【两表所有字段的值相同】两表所有字段union后,条数与另一张表条数一样两表字段值部分相同【两表部分字段的值相

2022-05-16 21:20:04 1955

原创 SQL中的重复值与null值处理

文章目录数据准备null空值处理空值 ''空值 nullcount与distinctunion与distinctsum与null重复值处理group by、distinct与row_number互换数据准备-- 建表CREATE TABLE IF NOT EXISTS TEST01.A( ID VARCHAR(50) COMMENT 'ID号' -- 01 ,NUMS

2022-05-16 21:18:32 734

原创 常用数据测试案例方法总结

目录一致性测试数据量比对金额字段SUM比对主键唯一空值校验枚举值脚本框架建表语句跑后查数一致性测试在做集市迁移时,甲方比较看重数据的一致性测试,一般会要求做新表与旧表的数据量比对,以及部分金额字段的字段级比对。下面给出的参考SQL都可以先在Excel中做好拼接语句,再整合到Python脚本框架中。一般整合之前可以先调试好SQL语句,也就是直接在SQL查询平台sqldbx,先跑一遍SQL,调试完毕再整合为Python脚本。数据量比对/* 表1与表2数据量比对 */insert into 库名.结果

2021-11-07 13:32:46 2494 1

原创 Notepad++查找替换匹配字符串详解

文章目录如何做到有效地“匹配”匹配单个关键词匹配多个关键词匹配位置行尾行首行尾多个字符行中某一字符的前后位置匹配换行符匹配后的“增删改+标记”操作无论我们想替换或删除关键词或内容,在做这一波操作之前,我们都需要正确地定位到我们的关键对象,也就是对关键对象进行有效地匹配。如何做到有效地“匹配”匹配单个关键词这也是最简单的匹配,直接打开查找替换窗口,输入关键词即可场景延伸:可为关键词添加标记,进而可挑选出关键词所在的行内容匹配多个关键词为了避免单个单个关键词多次查找,可选用正则表达式来一次性

2021-10-25 20:17:43 9292 2

转载 为什么我们需要配置环境变量

文章目录为什么需要环境变量那电脑是怎么知道 cmd 在哪儿的呢?用户变量和系统变量那就以 Windows 来说说环境配置的问题,Linux 下的其实差不多。为什么需要环境变量我记得计算机网络的老师在给我们讲 ip/mac 地址 的时候提过一个例子:你刚到这个班,班里都是新同学,你想找班里的小明同学该怎么办?答:在班里喊一声小明。这当然可以,小明肯定会响应你。对局域网来说也是如此。但是,如果有一张座位表,上面有每个同学的座位信息,你想找到某个人是不是就很简单了。环境变量也是如此,也很适合这个例子

2021-10-11 16:32:36 172

原创 Python中print(f‘***‘)中f是什么意思

文章目录Python3.6新增了一种f-字符串格式化asyncio异步相关知识点`__name__ == '__main__'`Python3.6新增了一种f-字符串格式化格式化的字符串文字前缀为’f’和str.format()相似。它们包含由花括号包围的替换区域。替换字段是表达式或变量,在运行时进行评估,然后使用format()协议进行格式化。以 f 开头,包含的{}表达式在程序运行时会被表达式的值代替。import asyncio# Python 3.5开始引入了新的语法async和await

2021-10-09 15:53:45 4549

原创 数据库常用查询方法

sqldbx查询工具里,常用下面一些SQL语句去了解库里的表格情况。作用SQL查看所有数据库show schemas;查看所有表show tables;查看指定数据库的表show tables in irbt;查看函数show functions;模糊查询某些表show tables in irbt like ‘rir*’;查看版本show version();查看表结构详细信息describe formatted irbt.rir_i

2021-09-15 16:22:54 1134

原创 Excel双引号拼接问题

文章目录复制出现双引号重复问题复制出现双引号重复问题常用Excel来拼接简单的SQL语句,用&拼接多列,单元格里的SQL有单引号,这时单引号外面需要拼接双引号,拼接时需要用4个双引号【&""""】才能正确显示出双引号,拼接1个或3个双引号会报错,【&"】【&"""】。但是用Excel中的&拼接双引号后,复制该单元格内容到记事本中,发现双引号重复。4种解决办法:直接将单元格内容复制到notepad++,替换""""多个双引号为"一个双引号。直接将单元格内容

2021-09-15 16:11:57 1964

原创 notepad++常用功能

文章目录常用操作常用正则替换删除重复的行第二行缩进到上一行常用操作列操作:按住alt行操作(删除空行):【编辑】-【行操作】-【移除空行】书签操作:标记后,可以删除其他未标记的行:【搜索】-【书签】-【删除未标记行】剪贴板历史:【编辑】-【历史剪贴板】删除行首尾空格:【编辑】-【空白字符操作】-【移除行首和行尾空格】大小写转换:【右键】-【转成大写/转成小写】注释:Ctrl+Q,或者【右键】-【添加/删除单行注释】。Ctrl+Q前提条件是语言已经设置成SQLtab页面快速选中:Ctrl+

2021-09-15 15:29:38 1130 1

原创 批量获取百度网盘文件目录

文章目录代码分析核心函数连接数据库提取内容主函数grid()方法相关参数整体代码运行结果当网盘文件超过100G的时候,找文件就有点苦恼了,不记得放在什么文件夹,也不记得名字,就想着从目录着手。现在百度网盘还未推出目录功能,这里就套用网上推荐的查询目录的方式。后面附有代码。#整体思路##查看网盘缓存数据库文件百度网盘在本地有个数据库文件BaiduYunCacheFileV0.db,里面存放着文件路径和文件名等信息,两者结合提取出目录信息。该文件可以用Navicat Premium 15打开。

2021-07-14 10:25:13 3255 1

原创 数据测试全流程总结(小白易上手)

文章目录数据测试一致性脚本写作风格一致性测试步骤补充知识创建临时表常用表达式SQL黑盒测试模板主键唯一null校验null decimal 为0null varchar为空极值 decimal极值 varchar枚举值数据测试做数据测试时,有黑盒测试和白盒测试,其中黑盒测试就是通过查询语句,检查目标表的表结构是否与设计文档一致,主键是否唯一非空,有无异常值,极值是否超出正常范围,枚举值检查数据是否合理分布,对应字段和字段内容是否一致。白盒测试就是检查开发老师的源码,字段信息(字段长度,最大最小值,异常值

2021-06-01 14:49:22 9549 1

原创 这几款效率神器,Windows装机必备

文章目录复制-Ditto官网下载使用技巧搜索合并粘贴纯文本粘贴置顶显示窗口自定义启动项截图-Snipaste官网下载使用技巧F1截图F3贴图回放截图记录标记-画折线截长图-FSCapture官网下载使用技巧滚动窗口截图截图+自动保存搜索-Everything官网下载使用技巧指定目录搜索搜索特定类型的文件复制-Ditto当我们需要多次复制,多次粘贴,在多个文档之间来回切换时,这款Ditto就应运而生,它可以解决我们大批量复制的效率问题,它可以可视化我们的剪切板,可以合并粘贴多条内容。官网下载https

2021-04-17 20:07:19 393

原创 DBeaver、Navicat、MySQL高频报错及解决方法,此文持续更新

文章目录第一坑,没有用管理员身份第二坑,MySQL 服务无法启动第三坑,报错:ERROR 1045 (28000): Access denied for user 'root'@'localhost'第四坑,MySQL8.0后修改密码跟以前不一样电脑配置:系统64位win10,MySQL8.0.16第一坑,没有用管理员身份第一次登录,打开cmd,执行net start mysql报错:发生系统错误5错误原因:没有用管理员身份运行cmd第二坑,MySQL 服务无法启动用管理员身份运行cmd,执行

2021-04-11 11:07:52 1324

原创 复制粘贴Ctrl+C改为自定义单键

文章目录那一瞬间不想用Ctrl+C了(一)搜索渠道关键词搜索(二)方案对比(三)最终方案Ditto使用方法(四)案例1. 替换Ctrl+C快捷键:2. 将英文小写替换为大写:那一瞬间不想用Ctrl+C了录入大量数据,将文本复制粘贴到Excel中的时候;论文修改,需要大段文字修改的时候;又或者Word改了好几版,需要对照修改的时候。每当这时Ctrl+C,Ctrl+V,便不再是最高效的了,除了手酸还不够快。(一)搜索渠道面对机械重复的事情,而我们技术又不够高的时候,最好还是求助互联网。从多种搜索渠道上

2021-03-27 21:41:34 11097 7

原创 造数常用的Excel表达式

文章目录Excel造数用到的高频表达式随机生成0与1,显示为“是”与“否”计算日期距离今天有几天生成随机时间输入1显示正常,输入0显示未激活VLOOKUP默认是模糊匹配根据百分比设置等级IF使用场景:将150%,或大于100%的百分数,显示成100%IF使用场景:正数换为0,负数取绝对值求余数,将大数变小多列合并为一列填充空白行多列需要将其上下叠加成一列多行文本合并成一行内容,复制次数,按列排序随机生成数字保留两位小数的随机数大批量填充合并两个单元格字符串Excel造数用到的高频表达式随机生成0与1,显

2021-03-23 06:54:54 851 1

原创 sublime的正则替换

文章目录给英文字母之间插入空格匹配数字前一行,使得数字前空一行在每个小标题后面,加个空格为每行开头添加一个 ·给英文字母之间插入空格其中.{1}表示任意一个字符,()表示一组,$1表示第一组匹配数字前一行,使得数字前空一行Find :\s(?=\d\、) 以数字和顿号开头(?=\d\、),并且前面是空白符\sReplace:\n\n换行后的效果在每个小标题后面,加个空格Find :\.(?=\d)(\d)Replace:.$1加完空格后的效果为每行开头添加一个 ·Find

2021-03-16 07:27:38 1123

原创 正则表达式5分钟入门教程,含大量实例

文章目录常用元字符常用限定符常用反义词复杂举例分枝条件 |分组()给匹配内容指定组名常用元字符元字符主要用于字符匹配代码说明.匹配除换行符以外的任意字符\w匹配字母或数字或下划线\s匹配任意的空白符\d匹配数字\b匹配单词的开始或结束^匹配字符串的开始$匹配字符串的结束常用限定符限定符主要用于表示重复次数代码/语法说明*重复零次或更多次,等价于{0,}+重复一次或更多次,等价于{1,}?

2021-03-05 11:22:55 212 1

原创 Python获取抖音视频链接

文章目录所需软件Fiddler配置模拟器配置抓包Python提取数据所需软件手机模拟器,下面以安卓模拟器(雷电模拟器)为例,下载地址: 官网Fiddler抓包工具,下载地址: 官网编程工具,PyCharm,下载地址: 官网,安装教程xposedinstaller.apk 下载地址: 官网,如果手机安卓版本在 5.0 或更高版本,那么就到这个链接下载,后者的真实下载链接,可以直接点击下载。JustTrustMe.apk,Xposed+JustTrustMe两者配合,来关闭SSL证书验证Fid

2021-01-09 14:28:53 4391 5

原创 数据分析流程

数据分析流程7个步骤1.导入数据(数据读写)2.查看、检查数据(数据初印象)3.数据选取(数据切片)4.数据清理(缺失值、转换数据类型、重命名)5.数据处理(排序、分组、计算)6.数据合并7.数据统计(最大值、最小值)7个步骤主要使用pandas数据包来处理数据,以及常用到的pandas里的函数。在这里我们需要引入库:import pandas as pd并且规定下面缩写:df:DataFrame对象s:Series对象1.导入数据(数据读写)pd.read_csv(filename):从

2020-12-28 20:11:44 148

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除