- 博客(103)
- 收藏
- 关注
RSS订阅原创 【python】DrissionPage库介绍
DrissionPage是一个基于Puppeteer的Python库，设计用于Web自动化和爬虫开发。它提供了一个简单易用的接口，允许你控制和操作无头或有头的Chrome或Chromium浏览器。DrissionPage的主要优势在于它能够处理现代Web页面的动态内容，这在传统静态网页抓取工具如Requests或BeautifulSoup中是难以实现的。
2024-07-03 17:22:24
239
原创 【python】pandas数据清洗(四)：使用回归分析预测异常值
回归分析是一种统计方法，用于确定一个或多个自变量（X）与一个因变量（Y）之间的关系。在回归模型中，我们试图找到一个函数f，使得对于给定的自变量X，f(X)能够尽可能准确地预测因变量Y的值。回归方法包括但不限于线性回归、多项式回归、岭回归、Lasso回归和Elastic Net回归等。
2024-07-02 22:12:12
388
原创 【python】pandas数据清洗(三)：修剪(Trimming)与顶底处理(Capping)详解
在数据分析和数据科学项目中，数据清洗是不可或缺的步骤，其目的是提高数据质量，使数据更加准确、一致和可靠。在数据清洗的过程中，处理极端值（也称为异常值或离群点）是一项关键任务。极端值可能是由测量误差、数据录入错误、系统故障或其他非正常情况导致的。这些值可能会扭曲数据分析的结果，因此需要特别注意。本文将持续介绍数据清洗的技巧。修剪是指直接从数据集中移除那些被识别为异常值的数据点。这种策略通常适用于数据集足够大，以至于删除少数几个极端值不会对总体统计特性产生显著影响的情况。
2024-07-02 21:57:23
310
原创 【python】pandas数据清洗(三)：Z-Score 方法识别异常值
Z-Score，又称为标准分数，是统计学中用于表示一个值与数据集均值之间的偏差程度的一种度量。具体而言，Z-Score 是一个观测值减去均值后，再除以标准差的结果。Z-Score 可以告诉我们这个观测值在标准正态分布中处于什么位置。数学表达式如下：( X ) 表示单个观测值，( \mu ) 表示观测值所在样本的均值，( \sigma ) 表示样本的标准差。
2024-07-02 21:40:31
472
原创 【python】pandas数据清洗(二)：箱线图分析与IQR的深度解析
数据清洗的目标是识别并修正数据集中的错误、不一致或无关的信息，从而提高数据质量和分析结果的可靠性。其中，异常值的检测和处理是一项关键任务，而箱线图分析和IQR（四分位距）技术为此提供了强大的工具。IQR是衡量数据集中趋势以外部分的离散程度的一个重要指标，不受极端值的影响。因此，它是识别异常值的理想工具。通过理解箱线图的结构和IQR的计算方法，可以更加精确地检测数据集中的异常值，并采取适当的策略进行处理。通过上述步骤，不仅能够识别数据集中的异常值，还能有效清洗数据，提高后续数据分析的准确性和可靠性。
2024-07-02 21:29:15
243
原创 【python】pandas数据清洗（一）
在Pandas中进行数据清洗是非常重要的步骤，以确保数据分析的质量和准确性。本文将详细介绍如何使用, 和进行数据预处理。
2024-07-02 12:28:34
385
原创 【python】pandas数据统计:了解数据分布
本文主要介绍如何使用df.mean()df.sum()df.max(), 和df.min()。
2024-07-01 18:10:02
334
原创 【python】Pandas 中的.loc和.iloc介绍
在 Pandas 中，标签（labels）是指用来标识 DataFrame 或 Series 中行和列的唯一标识符。在 Pandas 的数据结构中，标签可以是任意哈希类型的对象，最常见的就是字符串和整数，但也可以是日期时间、元组等。标签在 DataFrame 中构成了行索引和列索引。
2024-07-01 17:37:50
245
原创 【oracle】数据库中的函数分类与详解
字符函数主要用于处理字符串数据，聚合函数用于对多行数据进行汇总计算，而分析函数则允许在查询结果的每一行上执行计算。根据具体需求选择合适的函数，可以大大提高数据处理的效率和准确性。
2024-06-17 18:16:20
405
原创 【oracle】窗口函数（分析函数）详解
Oracle窗口函数允许用户对查询结果的每一行执行计算，而不会改变原始查询结果的行数或顺序。这些函数特别适用于需要跨多行或分区（子集）的数据执行聚合操作（如求和、平均值等）的场景。Oracle窗口函数为数据分析提供了强大的工具，允许用户在不改变数据原始分组的情况下执行复杂的计算。通过结合不同的窗口函数和OVER子句中的选项，用户可以灵活地定义窗口的范围和排序方式，以满足各种分析需求。
2024-06-17 18:06:00
871
原创 【oracle】查询某个字段的唯一值及其对应的ID
在Oracle数据库中查询某个字段的唯一值及其对应的ID时，你可以使用子查询、JOIN和窗口函数或聚合函数等方法。选择哪种方法取决于你的具体需求和偏好。希望这些示例能帮助你更好地处理类似的数据库查询任务。
2024-06-17 14:49:01
265
原创 【python】pandas:DataFrame合并技巧详解
本文介绍了Pandas库中DataFrame合并的几种常用方法，包括基于键的合并（merge）、沿着轴合并（concat）、基于索引的合并（join）以及追加行（append）。本文将详细介绍Pandas库中DataFrame合并的几种常用方法，包括基于键的合并（merge）、沿着轴合并（concat）、基于索引的合并（join）以及追加行（append）。基于键的合并是最常用的DataFrame合并方法之一。它类似于SQL中的JOIN操作，可以根据两个DataFrame之间的共同列（键）进行合并。
2024-06-17 12:54:05
572
原创 【python】pandas:Series详解
Series是一个一维的、大小可变的、可以包含任何数据类型的数组，以及与之相关的一组数据标签（索引）。Series对象可以被看作是一个字典对象，其中包含了数组的数据和与这些数据相关联的索引。但与字典不同的是，Series中的索引是固定的，且是有序的。Series是Pandas库中的一个核心数据结构，用于处理一维数组型数据，并带有与之相关的数据标签（通常称为“索引”）。Series可以被视为一个固定大小的、有序的、可以包含任何数据类型的数组。
2024-06-17 08:50:31
1172
原创 【python】pandas:DataFrame详解
DataFrame是一个二维的表格型数据结构，它含有一组有序的列，每列可以是不同的值类型（数值、字符串、布尔型值等）。DataFrame可以被视为一个电子表格或SQL表，或是由多个Series对象组成的字典（这些Series对象共享一个索引）。
2024-06-17 08:40:44
957
原创 【python】pandas常见文件读取方法
pandas是一个强大的Python数据分析库，它提供了多种读取文件的方法，支持多种文件格式。以下是pandas中常见的一些文件读取方法及其详细说明、常用参数、代码示例和数据示例。
2024-06-16 22:13:43
922
原创 【学习笔记】透视HTTP协议（八）：请求方法详解
按照这个定义，只有GET和HEAD方法是“安全”的，因为它们是“只读”操作，只要服务器不故意曲解请求方法的处理方式，无论GET和HEAD操作多少次，服务器上的数据都是“安全的”。PUT的作用与POST类似，也可以向服务器提交数据，但与POST存在微妙的不同，通常POST表示的是“新建”“create”的含义，而PUT则是“修改”“update”的含义。方法与GET方法类似，也是请求从服务器获取资源，服务器的处理机制也是一样的，但服务器不会返回请求的实体数据，只会传回响应头，也就是资源的“元信息”。
2024-06-14 23:24:18
1422
原创 【oracle】SQL查询：从文件名中提取扩展名
在数据处理中，经常需要从文件名中提取扩展名，以便进行进一步的分类或处理。以下是一个使用Oracle SQL查询来实现这一目标的示例。，因此在这个查询条件下不会被选中，除非您移除了WHERE子句。
2024-06-14 16:26:31
289
原创 【学习笔记】透视HTTP协议（七）：HTTP报文详解
HTTP报文结构就像是“大头儿子”，由“起始行+头部+空行+实体”组成，简单地说就是“header+body”；HTTP报文可以没有body，但必须要有header，而且header后也必须要有空行，形象地说就是“大头”必须要带着“脖子”；请求头由“请求行+头部字段”构成，响应头由“状态行+头部字段”构成；请求行有三部分：请求方法，请求目标和版本号；状态行也有三部分：版本号，状态码和原因字符串；
2024-06-14 12:42:21
734
原创 【学习笔记】透视HTTP协议（六）：发起请求后，处理流程是怎么样子的？
本文是一篇学习笔记，学习的课程是极客时间的《透视HTTP协议》。本文主要描述发起请求后，具体的处理过程。
2024-06-14 11:33:36
754
原创 【学习笔记】透视HTTP协议（五）：什么是DNS？
本文是一篇学习笔记，学习的课程是极客时间的《透视HTTP协议》。DNS（Domain Name System）是域名系统的缩写，它是一个分布式数据库系统，用于将人们易于记忆和理解的域名（如）转换为计算机能够理解和处理的IP地址（如192.0.2.1DNS系统由多个层次化的域名服务器组成，这些服务器共同工作以解析域名并提供相应的IP地址。域名是一个有层次的结构，是一串用“.”分隔的多个单词，最右边的被称为“顶级域名”，然后是“二级域名”，层级关系向左依次降低。
2024-06-13 12:49:40
805
原创 【python】assert断言
没有其它特殊的语法，但可以使用逻辑运算符（如 and、or、not）和比较运算符（如 ==、!=、、=）来构建更复杂的条件表达式。通常用于检查不应该发生的条件，或者在函数/方法内部检查传入的参数是否符合预期。但是，在生产环境中，一般不会使用断言（可以通过Python的。但是，如果条件为假（即。比较常用的是在测试环境用做自动化接口测试断言，简单方便。是一个用于调试目的的语句，它用于检查一个条件是否为真。，那么在断言失败时，Python会抛出一个通用的。，而不包含任何额外的信息。
2024-06-13 12:15:51
236
1
原创 【测试用例】Excel导出功能
数据验证全量数据导出：验证所有页面上的数据是否都能被正确导出到Excel文件中。分页数据导出：如果页面支持分页，验证每页的数据是否能被单独导出，且数据正确无误。筛选后数据导出：验证在应用筛选条件后，只有符合条件的数据被导出。数据精度验证：验证导出到Excel的数据精度是否与页面显示一致，特别是针对浮点数和货币值。空值和特殊字符验证：验证空值、特殊字符（如引号、逗号、换行符等）在导出后的处理是否正确。
2024-06-11 23:03:41
655
原创 【测试用例】发送邮件
邮件模板与格式验证所有电子邮件模板是否遵循CSS标准，确保在不同客户端的兼容性。验证邮件正文模板中特殊字符（如引号、HTML实体等）是否被妥善转义或处理。确保特定语言的字符（如俄文、中文、德文字符等）在电子邮件主体模板中能够正确显示，无乱码现象。验证电子邮件主题是否为空，确保每封邮件都有明确的主题。验证邮件模板中的占位符（如{姓} {名}）是否会被实际的值正确替换，并适应所有收件人的名字和姓氏。如果邮件正文包含动态值（如报告数据），验证这些值是否被正确计算并插入到邮件中。检查系统是否支持发送纯
2024-06-11 22:00:50
324
原创 【测试用例】易用性测试
1):完成相同或相近功能的按钮用Frame框起来，常用按钮要支持快捷方式。2):完成同一功能或任务的元素放在集中位置，减少鼠标移动的距离。3):按功能将界面划分区域块，用Frame框括起来,并要有功能说明或标题。4):界面要支持键盘自动浏览按钮功能，即按Tab键、回車鍵的自动切换功能。5):界面上首先要输入的和重要信息的控件在Tab顺序中应当靠前,位置也应放在窗口上较醒目的位置。6):同一界面上的控件数最好不要超过10个，多于10个时可以考虑使用分页界面显示。
2024-06-11 21:56:10
864
原创 【测试用例】上传图片
基础功能验证检查图片上传路径描述：验证上传的图片是否存储在预定的目录或服务器路径中。检查图像上传和修改功能描述：验证图片的上传和（如果需要）修改功能是否正常工作。检查各种扩展图像文件的上传描述：验证系统支持上传不同扩展名的图像文件（如JPG、JPEG、PNG、BMP等）。
2024-06-11 21:37:30
305
原创 【oracle】将字段中的换行符替换为分号
在Oracle数据库的数据处理过程中，我们经常会遇到需要将字段中的换行符替换为其他字符的情况。换行符在数据库中可能以不同的形式存在，如\n（Unix/Linux系统）或\r\n（Windows系统）。本文将介绍如何在Oracle中将字段中的换行符替换为分号，以便于数据的展示和后续处理。
2024-06-11 17:46:29
322
原创 【oracle】如何将多个行的值连接成一个字符串
在Oracle数据库中，`LISTAGG`函数是一个聚合函数，用于将多个行的值连接成一个字符串。这对于将分组内的多个值合并为一个单独的字符串特别有用。
2024-06-11 17:33:44
237
原创 【python】作用域
在Python中，作用域（Scope）是变量、函数和类在程序中的可见区域。关键字来声明一个变量是全局的，但这通常应该谨慎使用。在模块顶层定义的变量和函数都位于全局作用域。全局作用域是在模块级别定义的变量的作用域。在函数内部，可以使用。
2024-06-10 22:26:41
477
原创 【python】面向对象编程的基本概念简述
面向对象编程（Object-Oriented Programming，简称OOP）是一种程序设计范型，它将现实世界中的事物抽象为“对象”，并使用类和对象等概念来设计程序和软件系统。OOP提高了代码的可重用性、可维护性和可扩展性。
2024-06-10 22:16:54
363
原创 【python】列表模拟栈
在Python中，可以使用列表（list）来模拟栈（Stack）的行为。栈是一种后进先出（LIFO, Last In First Out）的数据结构，其中元素只能在一端添加（称为push）和移除（称为pop）。
2024-06-10 22:12:15
311
原创 【python】列表模拟队列
使用Python的列表可以模拟队列的行为，包括入队、出队、检查队列是否为空和获取队列的大小等操作。然而，需要注意的是，对于大型队列，使用列表的pop(0)方法进行出队操作可能不是最高效的。在这种情况下，可以考虑使用来优化性能。
2024-06-10 22:03:48
339
原创 【python】时间和日期
Python的`datetime`模块提供了用于处理日期和时间的类和函数。主要类包括`datetime`、`date`、`time`、`timedelta`和`tzinfo`（与时区有关）。
2024-06-10 21:55:15
674
原创 【python】os模块详解
Python 的 os 模块提供了与操作系统交互的功能。它提供了很多函数，用于读取或修改系统目录和文件、运行系统命令、处理系统环境变量等。
2024-06-10 21:40:18
981
原创 【python】推导式
在Python中，推导式（Comprehension）是一种简洁、高效的方式来创建列表（list）、集合（set）、字典（dict）和元组（tuple）等数据结构。推导式允许你在一行代码中创建这些数据结构，通过迭代一个或多个可迭代对象并应用某种函数或表达式。
2024-06-09 23:35:11
221
原创 【python】基本数据类型：字符串(String)
在Python中，字符串是一种数据类型，用于存储文本信息。Python中的字符串是不可变的，即一旦创建了一个字符串，就不能修改它。但是，可以通过连接、切片和替换等操作来创建新的字符串。
2024-06-09 23:22:40
899
原创 【python】科学计数法
科学计数法（Scientific Notation）是一种表示非常大或非常小的浮点数的方法。科学计数法允许我们以更简洁的方式表示这些数字，特别是在涉及大量计算或数据处理时。在 Python 中，可以直接以科学计数法的形式输入和输出浮点数。
2024-06-09 22:45:00
548
原创 【python】复数详细讲解
复数是形如a + bi的数，其中a和b都是实数，i是虚数单位，满足i^2 = -1。这里的a被称为复数的实部，b被称为复数的虚部。
2024-06-09 22:32:13
165
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人