自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(104)
  • 资源 (1)
  • 收藏
  • 关注

原创 5. fastApi cookie与header使用方法 保姆教程【已修订版】(最新)

我们知道cookie一般用于网站用户状态校验,对于任何一个web框架,都会集成这个功能。fastapi也不例外。同样的header功能在fastapi中也存在,而且易于使用。

2024-08-20 09:58:17 360

原创 4. fastApi请求体详解【已修订版】(最新)

本文详细介绍了一般网络请求即GET与POST请求,同时介绍了fastapi框架处理POST请求的方法,以及swag数据模型,数据嵌套,使用python数据类映射swag请求体

2024-08-20 09:46:22 331

原创 3. fastApi查询参数详解【已修订版】(最新)

文章介绍了FastAPI如何处理查询参数,如自动将其作为查询参数,用于筛选、分页、搜索和排序等场景。提供了示例代码展示如何实现分页查询功能,以及如何进行布尔类型转换和使用Query类进行参数校验,包括字符串长度、正则表达式验证等。

2024-08-19 10:26:48 430

原创 2. fastApi路径参数详解【已修订版】(最新)

文章介绍了如何在FastAPI中使用Python字符串格式化语法声明路径参数,并展示了如何设置类型限制,如整数类型和范围限制。还提到了使用Path类进行高级限制,以及如何处理包含特殊字符如/的参数。此外,文章还讨论了如何为Swagger文档创建枚举类型的参数,以便于前后端交互和接口测试。

2024-08-19 10:13:08 468

原创 js逆向研究【案例实战2】

这篇文章主要使用一个网站响应结果案例,一步一步介绍了逆向的流程,每一步都有记录与经过,大家需要耐心学习。

2024-07-08 17:15:20 1507

原创 js逆向研究【响应结果解密思路与案例实战1】

我们在爬虫过程中,抓包之后,针对内容关键词搜索无法定位到数据接口,并在响应的接口内发现有编码/不可读的长字符串等,我们可以判定其为响应结果加密。针对响应结果加密,我们可以通过搜索,断点调试,控制台输出三个方法结合,还原解密方法,得到最终的结果。

2024-07-08 14:44:19 1102

原创 配置windows环境下独立浏览器爬虫方案【不依赖系统环境与chrome】

由于部署浏览器爬虫的机器浏览器版本不同,同时也不想因为部署了爬虫导致影响系统浏览器数据,以及避免爬虫过程中遇到的chrome与webdriver版本冲突。我决定将特定版本的chrome浏览器与webdriver下载到项目目录内,同时chrome_driver在初始化时指定项目目录内的chrome与webdriver。

2024-07-02 16:42:25 583

原创 一个scrapy的pipeline,用于将item使用json序列化后推到kafka

以上代码实现了一个Scrapy Pipeline,将爬取到的item序列化为JSON并发送到Kafka。请根据需要调整Kafka服务器地址和主题名称。

2024-07-02 16:00:59 336

原创 准备了一些简单的面试题

上周的爬虫岗位准备的一些小问题,用于了解面试者的工作经验和能力。

2024-06-27 13:59:33 824

原创 定位问题6.27 petal数据接口问题

由于接口变更未同步信息导致爬虫数据获取不到,这里记录解决流程。

2024-06-27 13:45:50 403

原创 深入了解python装饰器(decorator)

装饰器是 Python 中强大的工具,能够在不修改原函数代码的前提下添加额外的功能。通过理解装饰器的原理和使用方法,你可以编写更加灵活和可维护的代码。无论是日志记录、权限检查、性能计时还是缓存,装饰器都提供了一种优雅的解决方案。这篇文章详细介绍了装饰器的使用与常用场景。

2024-06-20 14:23:44 384

原创 深入了解python生成器(generator)

生成器是 Python 中强大的工具,用于高效地处理大量数据或流数据。它们通过 `yield` 关键字生成值,保持函数状态,支持惰性求值,并且内存效率高。了解生成器的工作原理和用法,对于编写高效、可维护的 Python 代码至关重要。

2024-06-20 11:01:55 519

原创 深入了解python迭代器(iterator)

这篇文章介绍了python的迭代器iterator,可迭代对象iterable,以及iter()与next()函数的使用,并自定义了一个迭代器。

2024-06-20 09:12:52 425

原创 Python 执行过程中的栈帧

在 Python 执行过程中,栈帧(stack frame)是一个关键概念。栈帧代表函数调用的执行环境,包含了函数执行所需的所有信息,包括局部变量、操作数栈、返回地址等。每次函数调用都会创建一个新的栈帧,并将其压入调用栈(call stack)。函数执行完毕后,栈帧会被弹出调用栈。这篇文章详细介绍了栈帧的定义以及代码执行过程中栈帧是如何使用的。

2024-06-19 09:01:09 523

原创 python作用域的符号表

在 Python 中,作用域的符号表(symbol table)是一个重要的**数据结构**,用于**跟踪程序中定义的变量、函数、类等名字及其绑定的对象**。每个作用域(scope)都有自己的符号表,**管理着该作用域内的名字解析和绑定关系**。这篇文章将详细介绍符号表的概念、作用域的分类以及符号表的管理。

2024-06-19 08:55:41 802

原创 深入了解python函数与函数内存使用

这篇文章深入介绍了python的函数,以及函数运行过程中内存的使用情况,还有可用的优化内存的建议。

2024-06-18 17:01:39 746

原创 将/root/anaconda3/bin目录添加到环境变量里面【Linux安装anaconda环境无法使用conda命令解决方法】

将 Anaconda 添加到环境变量并使 conda 命令可用

2024-06-13 11:30:30 419

原创 前端学习日记Vue3---Day1

这篇文章主要介绍了vue3的声明式渲染这个概念,通过一个简单的示例,实现了计时器与数据显示两个功能。简单介绍了vue3的文本插值“Mustache”语法 (即双大括号);v-bind绑定span title属性为变量。两个例子都很好验证了声明式渲染,即数据与DOM绑定。

2024-06-03 17:25:40 475

原创 韭菜收割项目

作为一个程序员,还是好好敲代码赚钱好了,一步一步。想不劳而获是不可能的。我写了个实时监控我购买的股票涨跌的小页面,用于上班在电脑上可以实时关注【毕竟一直拿着手机总是不太好,会被抓典型,很恐怖】这个小页面我前端用了个vue3构建,后端使用python flask框架,总共耗时20分钟,效果还行,丑就丑点吧,后面慢慢改进。

2024-05-28 16:51:15 359

原创 Mongodb 可视化工具Robot 3t安装【windows环境下】

本文是工具安装类文章,详细介绍了mongo可视化工具robot 3t的安装鱼使用,安装步骤准确清晰。

2024-05-27 09:59:25 468

原创 python操作rabbitmq的consumer,并强制关闭特定consumer的连接

python可以使用rabbitmq_management的api获取所有consumer的信息。【队列需要安装rabbitmq_management,在大部分情况下,我们安装队列的同时,都会安装管理界面,以方便一些简单的手动操作与简单监控】**暂时只能使用管理页面的close关闭或consumer内channel.close方法关闭**

2024-05-22 16:27:08 591

原创 flask应用在windows上启动,套接字错误 【ThreadedWSGIServer】==>【OSError: [WinError 10038] 在一个非套接字上尝试了一个操作】

通过添加 **use_reloader=False** 参数,可以避免在 Windows 上遇到的套接字错误问题。**在一般情况下,use_reloader参数与debug参数保持一致。**在Windows下使用flask开发,同时debug=True模式下,最好需要设置use_reloader=False,并在开发中自己手动重启服务。【注意端口占用问题】

2024-05-20 11:36:38 211

原创 力扣数据库题库学习(5.15日)--180. 连续出现的数字

使用LAG(num, 1) OVER (ORDER BY id)获取当前行的前一行的数字。 使用LAG(num, 2) OVER (ORDER BY id)获取当前行的前两行的数字。 结果是一个包含num,prev1,和prev2列的临时表。从子查询的结果中过滤出满足条件的行,即num等于prev1且等于prev2的行。这些行表示数字连续出现了三次或更多次。 使用SELECT DISTINCT来确保结果中每个数字只出现一次。

2024-05-15 16:35:18 389

原创 力扣数据库题库学习(5.14日)--178. 分数排名

要求就是让我们将原表内的score字段按照从大到小倒序排列,同时生成新字段为rank,表示每个记录的排名。要求排名【如果两个分数相等,那么两个分数的排名应该相同。在排名相同的分数后,排名数应该是下一个连续的整数。】DENSE_RANK() 这个函数功能:返回当前行在其分区中的排名,没有间隙。对等项被视为并列并获得相同的排名。此函数为对等组分配连续的排名;**结果是大于一的组不产生不连续的排名号码**。【恰好和要求一致】

2024-05-14 16:04:20 520

原创 力扣数据库题库学习(5.11日)--176. 第二高的薪水

,取第二个数据,其实就是跳过第一个数据,取下一个值。这个在mysql内,可以使用**OFFSET**实现。下面我来给出解题思路:1. 使用 ORDER BY 将薪水降序排列。2. 使用 LIMIT 获取第二行的薪水。3. 如果第二行存在,则返回该薪水值;否则返回 NULL。这里简单得查询满足不了当第二高的数据不存在的情况,我们可以使用子查询或者IFNULL函数来解决。

2024-05-11 14:14:55 1062

原创 力扣数据库题库学习(5.10日)--1965. 丢失信息的雇员

问题很简单,其实就是找到employee_id 在Employees,Salaries两个表内无法对应上的数据。BB赖赖那么多干嘛。直接暴力将两个条件转换为代码,使用UNION联合即可。

2024-05-10 14:36:44 293

原创 力扣数据库题库学习(5.10日)--1890. 2020年最后一次登录

提供以下一点思路1. 先筛选出time_stamp 在2020年的数据2. 将这些数据按照user_id 分组,并找出最大的time_stamp对应的记录这里使用的知识点主要是GROUP BY 和WHERE子句,以及YEAR函数判断时间类型字段是否为指定的时间段。

2024-05-10 14:03:15 224

原创 力扣数据库题库学习(5.8日)--1873. 计算特殊奖金

这道题主要考的是ORDER BY 排序,以及CASE语句的合理使用,其中,在MYSQL中,比较字符串相等性的运算符是 = 或 ,需要特别注意!😂😂😂

2024-05-08 16:24:51 357

原创 力扣数据库题库学习(5.8日)--mysql UNION与UNION ALL方法使用详解

`UNION ALL` 是 SQL 中用于合并两个或多个查询结果集的操作符。它将两个或多个查询的结果集堆叠在一起,不去重重复的行。`UNION` 是 SQL 中用于合并两个查询结果集的操作符。它将两个查询的结果集合并在一起,并自动去重重复的行。

2024-05-08 16:03:26 397

原创 力扣数据库题库学习(5.8日)--1795. 每个产品在不同商店的价格

1. 将旧表除了product_id的其他字段名作为新表store字段值2. 将旧表除了product_id的其他字段值,作为新表price字段值这个表内就只有三个其他字段,我们可以直接暴力筛选store1、store2、store3的值作为price,然后将结果使用UNION ALL合并起来即可。

2024-05-08 15:57:54 327

原创 力扣数据库题库学习(5.7日)--1789. 员工的直属部门

这里对于员工的直属部门有两种情况:1. 只有一条记录,且primary_flag 为N2. 有多条记录,其中一条primary_flag 为Y

2024-05-08 15:32:04 279

原创 力扣数据库题库学习(5.7日)--1757. 可回收且低脂的产品

这个问题要求的筛选条件很简单,只需要简单的WHERE语句即可**WHERE low_fats = "Y" AND recyclable="Y";**太简单了,简直侮辱我的智商。。扛不住😕😕😕

2024-05-07 10:26:13 504

原创 力扣数据库题库学习(5.7日)--1741. 查找每个员工花费的总时间

这个题目思路很直接,**按照event_day,和emp_id字段分组数据,并使用SUM累加 out_time 与in_time的差值** 主要涉及的知识点就是1. GROUP BY2. SUM

2024-05-07 10:13:39 210 3

原创 力扣数据库题库学习(5.6日)--1731. 每位经理的下属员工数量

这道题的考点主要是以下几个:1. 表自连接,筛选记录【匹配身份】2. 按照NOT NULL 过滤数据3. GROUP BY4. ORDER BY5. COUNT,ROUND,AVG聚合函数的使用

2024-05-06 17:28:28 899

原创 力扣数据库题库学习(5.6日)--1729. 求关注者的数量

这道题考得就是分组GROUP BY ,COUNT,排序ORDER BY的使用,我们可以将数据按照user_id分组与排序,并COUNT(follower_id) AS followers_count计算分组内的关注者量

2024-05-06 16:16:37 258

原创 力扣数据库题库学习(5.6日)--1693. 每天的领导和合伙人

其实这道题考得是分组,**GROUP BY** 与计算组内唯一字段数据量 **COUNT (DISTINCT lead_id)**【计算唯一的lead_id数据量,别的字段同理】SELECT date_id,make_name, COUNT(DISTINCT lead_id) AS unique_leads,COUNT(DISTINCT partner_id) AS unique_partnersFROM DailySalesGROUP BY date_id,make

2024-05-06 15:56:20 323

原创 力扣数据库题库学习(5.6日)--1683. 无效的推文

MySQL 中有一些用于处理字符串的函数,其中包括用于获取字符串长度的函数。可以使用 LENGTH() 函数来获取字符串的字符数。这道题考的就是使用mysql的函数LENGTH() 判断字段的字符数非常简单

2024-05-06 15:42:36 315 1

原创 力扣数据库题库学习(5.4日)--1667. 修复表中的名字

这个问题不仅考察了对 SQL 字符串函数的熟练运用,还考察了对更新操作和条件更新的理解。此外,需要注意数据的排序以及结果表的格式。使用 SUBSTRING() 函数获取每个名字的第一个字符和剩余字符。 使用 UPPER() 函数将第一个字符转换为大写。 使用 LOWER() 函数将剩余字符转换为小写。 使用 CONCAT() 函数将第一个字符和剩余字符组合成名字。 最后按照 user_id 对结果进行排序。

2024-05-04 18:51:32 554

原创 力扣数据库题库学习(5.4日)--1661. 每台机器的进程平均运行时间

这道题主要是考我们如何将完整的一张表拆分为两张临时表来处理数据的能力。在以后的题目中,如果数据可以根据记录中的字段拆分为多张表,我们都可以使用【拆分+链接】这种方案。主要考点是AVG ROUND GROUP BY

2024-05-04 18:27:53 276

原创 力扣数据库题库学习(4.29日)--1633. 各赛事的用户注册率

力扣数据库题:1633. 各赛事的用户注册率解答,问题涉及排序,分组,保留小数知识点。1. COUNT 2. GROUP BY 3. ORDER BY 4. DESC 5. ROUND 。1. 计算Users表内所有数据量,`SELECT COUNT(*) FROM Users`2. 分组,计算每个contest_id下的数据量,并计算比率3. 对数据按照percentage和contest_id排序

2024-04-29 14:47:55 240

爬虫案例和源码 code.rar包含源代码,文本,和爬取的数据

来自一个爬虫学习者的学习日志

2021-07-05

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除