- 博客(7)
- 收藏
- 关注
RSS订阅原创 爬虫项目合集
请求可以使用urllib requests ，其中urllib是自带的，requests是第三方库,功能更强大， 本次使用的是urllib。解析我用的是正则表达式，xpath，本次使用的是正则，主要是想自己用正则来练习下，看正则的说明 不能 能 理解其中的奥秘呀， 必须多试。储存常用有保存到内存，数据库，硬盘中 ,本次是保存到电脑硬盘中的。
2025-06-23 16:37:26
248
原创 python异步爬取ali矢量素材库svg代码
使用`aiohttp`库，我们定义了一个`fetch_icon_data`函数来异步获取指定图标ID的数据。`main`函数是该程序的控制中心。4. **保存数据**：支持将抓取的数据保存为Excel、CSV或JSON格式，便于后续使用或分析。2. **处理图标数据**：从Iconfont的API抓取图标的详细数据，包括名称和SVG代码。1. **使用异步请求技术**：通过`aiohttp`库，我们将并行化请求，提高抓取效率。3. **数据清洗**：清洗数据中可能包含的非法字符，确保保存的文件格式无错误。
2025-06-23 16:11:34
265
原创 爬虫实现百度翻译
response.json() 是用于将HTTP响应体解析为JSON格式的方法。通常情况下，当你使用 requests 库发送HTTP请求并得到响应后，可以使用 response.json() 方法来提取JSON格式的数据。这个方法会自动将JSON格式的响应内容转换为Python字典或列表，以便于在代码中进行处理。版权声明：本文为CSDN博主「无妄无望」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。且返回的数据类型是json。1.找到要爬取的数据类型。
2025-06-23 16:02:53
886
原创 产业政策大数据平台请求参数混淆逆向+python异步
断点提取找到发送请求对象之前位置，可看到负载参数已经加密，加密方法为拦截器加密，一步步上调找到拦截器，拦截器对象包含request和response对象，找到request对象的js地址，下断点在方法开始和结束，调试进入断点，可以发现在函数开始的data负载是明文的，在函数结束为密文数据，在函数中查找将s['data']加密的方法，在前后下断点验证，扣js代码，发现js为框架js，将整个模块扣出，将未定义的comxxxxx替换为global，定义变量接收一下模块返回。
2024-05-24 14:31:31
675
1
原创 python异步+参数逆向爬取＜福建省公共资源交易电子公共服务平台＞招标文件
以上为js部分：js文件中的t变量的EndTime和Total需修改。以上为python部分。
2024-05-09 10:59:08
512
1
原创 Python异步抓取MSDN下载链接
extracted_data = [{'一级标题':title , '二级标题' : item['name'] , '三级标题' : i['name'] , 'url' : i['url']} for i in list_data]# 仅当文件存在（即追加模式）时设置 if_sheet_exists 参数。
2024-04-25 13:25:34
1233
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人