- 博客(627)
- 收藏
- 关注
RSS订阅
原创 Python实现办公自动化的数据可视化与报表生成
幸运的是，Python提供了强大的工具和库，可以帮助我们实现办公自动化，从而提高工作效率和准确性。通过使用Python进行数据可视化和报表生成，我们可以实现办公自动化，提高工作效率和准确性。Matplotlib和Seaborn可以帮助我们深入展示数据特征和趋势，Pandas和Openpyxl可以帮助我们处理和生成表格的报表。在Python中实现办公自动化的数据可视化与报表生成时，我们可以使用一些常见的库和工具通过代理IP进行网页访问获取数据，可以使用requests库结合代理信息进行配置。
2023-07-19 16:07:59
40259
4
原创 告别复杂 XPath：DeepSeek+Python 爬虫快速实践
本次实践我们选择DeepSeek大模型作为AI解析核心，搭配Python构建爬虫，核心优势贴合爬虫开发的实际需求，兼顾易用性和实用性：1.DeepSeek优势：开源易用、API调用稳定，支持长文本处理，对HTML解析和数据提取的精准度极高，能够快速理解网页结构和自然语言指令，完全满足爬虫场景的核心需求。Python生态优势：requests基础库成熟，用于网络请求简单高效；代码轻量化，部署难度低，适合快速开发、快速迭代，无论是个人学习还是小型项目，都能快速落地。零门槛上手。
2026-04-10 16:18:32
102
原创 Scrapy 分布式爬虫：大规模采集汽车之家电车评论
本文实现了Scrapy分布式爬虫采集汽车之家电车评论，解决了单机器爬取效率低、易反爬的问题。后续可扩展情感分析、数据可视化、定时爬取等功能，适配多汽车平台，进一步提升数据价值。分布式爬虫的核心是协同高效，需根据反爬强度灵活调整策略，确保稳定采集。
2026-04-09 16:39:25
467
原创 Selenium+Python 爬虫：动态加载头条问答爬取
在互联网数据采集领域，静态网页爬取早已是基础操作，但随着前端技术的迭代，大量网站采用 JavaScript 动态渲染页面，传统基于 requests + 正则、BeautifulSoup 的静态爬虫已无法满足需求。为技术核心，从零到一实现头条问答的定向爬取，涵盖环境配置、浏览器驱动、动态页面解析、数据存储、反爬规避等全流程，不仅能获取问答标题、作者、回答内容，还能实现分页自动加载与数据持久化存储，为数据分析、内容聚合提供技术支撑。滚动页面、点击分页时，前端通过 AJAX 请求后台接口，动态插入数据；
2026-04-08 16:44:25
579
原创 Python requests + BeautifulSoup 爬取豆瓣电影图片
本文详细介绍了使用 Python requests 和 BeautifulSoup 爬取豆瓣电影图片的完整方案，涵盖了请求伪装、亿牛云代理集成、页面解析、数据存储、错误处理等核心技术点。通过亿牛云代理服务的加持，爬虫能够稳定高效地完成大规模数据采集任务，有效应对目标网站的反爬机制。通过本文的学习，读者可以掌握网页爬虫的基本编写方法，并将其应用到其他网站的图片资源抓取中。
2026-04-07 16:36:28
423
原创 攻克滑动拼图反爬：Python 高效爬取网页图片实战案例
本文通过 Python+OpenCV+Selenium 的技术组合，实现了从验证破解到图片爬取的全流程自动化：OpenCV 解决了机器视觉识别问题，拟人滑动轨迹绕过了前端行为检测，最终实现高效、稳定的网页图片爬取。对于爬虫开发者而言，掌握滑动拼图破解只是起点，后续可延伸学习极验验证码、文字点选、无感验证等更复杂的反爬机制。滑动验证成功后，反爬限制解除，我们可以直接定位网页中的图片元素，批量下载并保存。验证通过后，定位网页图片元素，批量高效爬取并保存图片。
2026-04-02 16:40:28
925
原创 实战复盘：Python 爬虫破解网站动态加载页面思路
的形式，完整拆解动态页面的识别、原理、两种主流破解方案、代码实现、性能优化与反爬规避，覆盖 90% 以上动态页面爬取场景，帮助你彻底掌握动态页面爬虫的核心思路。的数据存储在后端接口中，页面加载时，JavaScript 代码会异步发送 AJAX/Fetch 请求获取数据，再动态渲染到页面上。的通用方案，无需分析接口，直接模拟用户操作浏览器，适合接口加密复杂、新手快速开发的场景。，速度比无头浏览器快 10 倍以上，核心是找到后端真实数据接口。（直接请求数据接口）：找到真实数据接口，绕过页面直接请求数据。
2026-04-01 16:26:24
719
原创 共享单车需求特征分析与 Python 数据处理实战
本文将围绕共享单车数据集，完整复现从原始数据到业务结论的技术流程，量化分析各类因素对需求的影响程度，挖掘核心需求特征。的 Python 实战全流程，从数据加载、清洗、特征工程到可视化分析，层层拆解数据规律，精准识别了时间、环境、节假日对共享单车需求的影响机制。在智慧城市持续发展的背景下，数据驱动将成为交通出行行业的核心竞争力，掌握 Python 数据分析技术，是解决实际业务问题的关键能力。全流程实战，深度拆解共享单车需求的时间规律、环境影响规律与用户行为规律，为交通出行领域的数据分析提供可复用的技术方案。
2026-03-31 16:32:17
546
原创 高并发场景下：平衡搜索引擎收录与爬虫流量负载方案
另一方面，百度、谷歌、必应等搜索引擎的高频抓取、并发爬取行为，极易引发服务器带宽爆满、CPU / 内存过载、正常用户访问卡顿甚至服务宕机等问题。尤其在电商大促、内容爆发期、新闻热点期等高并发场景下，爬虫流量与用户流量的资源争抢矛盾会被无限放大，直接影响业务稳定性。整套方案无需改造核心业务代码，无侵入性，支持分布式、高并发架构，可无缝对接 SpringBoot、Go、Python 等主流技术栈。：爬虫高频并发请求，占用大量带宽、连接数、数据库连接，导致真实用户请求排队、超时；
2026-03-30 16:38:55
824
原创 效率翻倍：Scrapy-Redis 分布式全站爬虫并发优化进阶
但在实际的全站爬取项目中，很多开发者仅完成了基础分布式部署，却忽略了核心的并发优化，导致多节点集群资源浪费、爬取速度停滞不前、服务器容易被封禁。通过本文的优化配置，你的爬虫可以突破单机性能限制，实现多节点高效协同，在全站爬取场景中效率翻倍。：默认配置下，Scrapy-Redis 的并发参数、Redis 连接、调度策略都为轻量场景设计，无法适配全站大规模爬取。想要效率翻倍，必须针对性优化。五个维度，深度讲解 Scrapy-Redis 并发优化方案，让你的分布式爬虫效率直接翻倍，支撑百万级全站数据高效采集。
2026-03-27 16:20:31
844
原创 Python 接口请求超时：try 超时控制与重试机制
一旦超过阈值立即终止请求，避免无限阻塞；同时搭配重试机制，对临时性的网络波动自动补发请求，大幅提升接口调用的成功率。异常捕获语句 —— 它能精准捕获超时异常，执行降级、重试、日志记录等逻辑，是超时处理的基石。重试失败后，执行降级逻辑：返回默认数据、调用备用接口、提示用户稍后重试，避免程序崩溃。库（同步请求），该库内置了超时参数，且会在超时触发时抛出明确的异常，我们可以通过。库是异步接口调用的首选，其超时控制和重试逻辑与同步方案一致，同样基于。参数，通用接口超时建议：连接超时 2 秒，读取超时 3 秒。
2026-03-26 16:43:21
524
原创 接口 vs 页面渲染：哪种方式获取酒店房价更快
本文将从技术原理、实战对比、性能分析三个维度，拆解两种方式的核心差异，并通过完整代码实现验证结论，帮你选择最适合的酒店房价获取方案。：接口获取酒店房价的速度是页面渲染的 15 倍以上，资源占用仅为后者的 1/16，批量采集场景下优势绝对；这种方式完全模拟用户浏览行为，无需分析接口，但需要消耗大量资源渲染页面，效率相对较低。：接口获取需具备接口逆向能力，页面渲染更易上手但成本高，可根据自身技术能力选择；接口获取的资源占用（内存）仅为页面渲染的 1/16，批量采集时优势更明显；
2026-03-24 16:47:22
476
原创 Python 爬取小米评价并进行词云、情感倾向分析
本文将完整拆解从「Python 爬取小米产品评价」到「词云可视化 + 情感倾向分析」的全流程，帮助读者掌握数据采集、清洗、分析的核心技术，同时挖掘小米产品的用户口碑特征。以小米商城「小米 14 手机」为例，实现评论数据爬取。：小米 14 评论中高频词汇多为「流畅」「拍照」「续航」「屏幕」「性价比」等，说明用户核心关注性能、影像、续航等维度；：将分析结果反馈给产品、市场团队，指导产品迭代（如优化续航）、营销话术（突出性价比、拍照优势）。：可爬取京东、天猫、小红书等平台的小米产品评论，实现全网口碑分析；
2026-03-23 16:24:04
489
原创 如何判断网站流量飙升是搜索引擎爬虫导致的？
在网站运营过程中，流量飙升本是值得欣喜的事，但如果飙升的流量并非真实用户访问，而是搜索引擎爬虫的疯狂抓取，反而会给服务器带来巨大压力 —— 带宽占满、响应速度变慢、数据库负载过高，甚至导致真实用户无法正常访问。Web 服务器（Nginx/Apache）会记录所有访问请求的详细日志，包括 IP、UA、访问时间、请求页面、状态码等，是排查爬虫流量的核心依据。如果需要更精细化的分析（如按小时统计爬虫访问趋势、识别伪装爬虫的 IP），可使用 Python 脚本处理日志数据，并生成可视化图表。
2026-03-19 16:37:07
1236
原创 Python 爬虫实战：批量抓取应用商店分类应用
无论是分析某一赛道的应用分布，还是监控同类 APP 的核心指标，通过 Python 爬虫批量抓取应用商店分类应用数据，都是高效且低成本的解决方案。本文将以主流安卓应用商店为例，从环境搭建、爬虫设计、数据解析到存储落地，完整讲解如何实现应用商店分类应用的批量爬取，帮助你快速掌握实战爬虫开发的核心逻辑。本文以某公开安卓应用商店的「工具类」分类为例（实际可替换为任意分类），核心抓取字段包括：APP 名称、下载量、评分、简介、所属分类。若遇到验证码、IP 封禁，及时停止爬取，切勿对抗。
2026-03-18 16:40:18
1404
原创 不用盯盘！Python 爬虫帮你自动筛选优质股票
通过 Python 爬虫技术实现自动化选股，核心是将「数据抓取 - 规则筛选 - 结果输出」的全流程标准化，既解决了人工盯盘的效率问题，也能通过量化规则减少主观情绪干扰。而借助 Python 爬虫技术，我们可以自动化抓取股票核心数据，并结合量化筛选规则，快速定位具备投资潜力的优质股票。：除东方财富网外，可扩展爬取同花顺、雪球等平台的财务数据（如净利润增长率、ROE 等），提升筛选维度；文件，包含股票代码、名称、市盈率、市值等核心信息，且按市盈率升序排列，便于快速定位低估值标的。
2026-03-17 16:34:04
974
原创 小说爬虫实战：《斗罗大陆》章节自动抓取与合并
本文将从需求分析、技术选型、代码实现到数据合并，完整拆解如何自动化抓取《斗罗大陆》全章节内容，并将分散的章节合并为完整的 TXT 文件，帮助你掌握爬虫开发的核心思路与实操技巧。：爬取单章节内容，先通过 requests 获取页面源码，再用 BeautifulSoup 解析核心内容区，同时清理广告、脚本等无关标签，保证内容纯净；：本爬虫仅用于技术学习，爬取内容请勿用于商业用途，且需遵守目标站点的 robots 协议，避免违规爬取。：初始化保存目录，确保文件存储路径存在，同时清理旧的全本文件，避免内容重复；
2026-03-16 16:35:17
1520
原创 对比分析：Python爬虫模拟登录的3种主流实现方式
Python爬虫模拟登录没有绝对的“万能方案”，只有适配场景的最优选择。主打轻量化高效，Selenium主打兼容性，Playwright则是兼顾性能与反爬的新一代解决方案。对于开发者而言，掌握这三种方案，就能应对市面上99%的网站登录场景。建议日常开发优先使用Playwright，简单场景切换requests提速，既保证爬虫稳定性，又能提升爬取效率，轻松突破登录限制获取目标数据。
2026-03-10 16:38:53
1718
原创 Pycharm 断点调试 Scrapy：两种实现方式总结
相比于命令行打印日志的低效调试方式，利用 PyCharm 的断点调试功能可以精准定位代码问题、跟踪数据流转，大幅提升开发效率。本文将详细讲解在 PyCharm 中实现 Scrapy 爬虫断点调试的两种核心方法，从原理到实操全程拆解，帮助开发者彻底解决调试难题。而 PyCharm 的断点调试功能可通过可视化界面实时监控代码执行过程，解决上述痛点，这也是专业爬虫开发者的首选调试方式。调试核心是利用 PyCharm 的断点功能监控变量和代码执行流程，结合 Scrapy 的运行机制适配调试方式。
2026-03-05 16:42:21
886
原创 揭秘微博年度热点：Python 爬取热搜关键词并制作词云图
微博作为国内头部的社交媒体平台，其热搜榜堪称 “网络热点晴雨表”，汇聚了一年内大众最关注的社会事件、娱乐热点、行业动态。本文将手把手教你用 Python 爬取微博近一年的热搜关键词，通过数据清洗、关键词提取，最终生成直观的词云图，让你用技术视角读懂年度网络热点。微博热搜分为实时热搜、历史热搜，由于官方未直接提供 “年度热搜” 接口，我们以 “微博历史热搜查询” 平台为例（也可替换为微博官方热搜页），爬取按日期归档的热搜数据。：部分日期的热搜数据缺失，可通过多源爬取（如微博官方热搜、第三方数据平台）补充；
2026-03-04 16:35:13
747
原创 Python 数据分析前置：BeautifulSoup 爬取 NBA 数据源
对于 NBA 数据分析爱好者而言，数据源的获取主要有两种方式：一是借助 NBA 官方提供的 API 接口，二是通过网页爬取的方式获取公开数据。前者虽然数据精准、格式规范，但存在接口调用限制、部分数据收费等问题，对于非专业开发者不够友好；后者则针对公开的 NBA 静态网页（如 NBA 中文官网、篮球数据网站等），通过解析网页结构提取数据，门槛低、自由度高，适合入门学习者。
2026-03-03 16:34:52
1315
原创 Python 爬虫 403 错误处理：Selenium 与普通请求对比
Python 爬虫 403 错误的核心是服务器的身份校验失败，普通请求（requests）需手动伪装请求头、添加代理，而 Selenium 通过模拟真实浏览器天然降低 403 概率；普通 HTTP 请求（requests 库）和 Selenium 的核心差异，本质是「模拟请求」与「模拟真实浏览器行为」的区别，这也决定了二者处理 403 的能力边界。requests 适合反爬较弱的静态页面，性能更高；：若目标网站反爬较弱（仅校验请求头），requests 性能更高，通过完善请求头、添加延时即可解决 403；
2026-03-02 16:37:58
905
原创 Python 爬取社交网络评论数据并完成情感分析
本文将以实战视角，完整讲解如何使用 Python 爬取社交网络评论数据，并基于自然语言处理技术完成情感分析，从数据采集到结果可视化形成全流程闭环，帮助你快速掌握这一核心技能。本文完整实现了 “Python 爬取社交网络评论 + 情感分析” 的全流程，从环境搭建、数据爬取，到情感计算、结果可视化，覆盖了核心代码与关键技巧。以某社交平台商品评论区为例（本文以公开测试页面为例，避免爬取受限数据），演示评论数据的爬取过程。：轻量级中文自然语言处理库，专门适配中文语境的情感分析，无需复杂的模型训练；
2026-02-27 16:32:38
568
原创 效率炸裂！Python 多线程爬虫实现 10 倍速采集
这个过程中，90% 以上的时间都消耗在 “等待服务器响应” 的网络 IO 上 ——CPU 处于闲置状态，却只能被动等待，这是单线程爬虫效率低下的核心原因。在爬虫场景中，我们可以创建多个线程，每个线程独立负责一部分爬取任务：线程 A 发起请求后等待响应的同时，线程 B、C、D 可以同时发起新的请求，CPU 不再闲置，网络 IO 的等待时间被最大化利用，从而整体提升爬取效率。，而非 CPU 密集型任务 ——GIL 对 IO 密集型任务的影响几乎可以忽略，这也是多线程适合爬虫的关键原因。
2026-02-26 16:24:50
1173
原创 Java 爬虫工作原理：从请求到解析小说内容
网络爬虫本质是模拟浏览器的行为，向目标网站发送请求、接收响应，并从响应数据中提取有效信息的程序。（第三方库）负责构建请求报文，包含 URL、请求方法（GET/POST）、请求头（User-Agent、Cookie 等）；爬虫根据状态码判断请求结果：200 正常处理，403 需调整请求头 / 添加代理，500 需重试。服务器接收请求后，验证请求合法性（如是否为爬虫、是否登录），返回响应报文（状态码 + 响应体）；HTTP 请求（获取源码）→ HTML 解析（提取内容）→ 数据持久化（保存内容）
2026-02-25 16:38:01
1419
原创 Python爬虫实现无限滚动页面的自动点击与内容抓取
在当下的互联网场景中，无限滚动（Infinite Scroll）已成为主流的页面加载模式，广泛应用于社交媒体、电商商品列表、资讯信息流等平台。与传统分页加载不同，无限滚动通过监听用户滚动行为或点击“加载更多”按钮，动态向服务器请求数据并渲染至当前页面，无需跳转即可呈现海量内容。这种交互方式提升了用户体验，但也给爬虫开发带来了不小挑战。传统爬虫依赖页面静态HTML解析，无法捕捉动态加载的内容——页面初始源码仅包含第一屏数据，后续内容需通过JavaScript触发请求后生成。
2026-02-04 16:45:08
707
原创 Python 进阶爬虫：解析知识星球 API
首先实现签名生成工具，封装请求头、参数处理与签名逻辑，确保所有 API 请求符合知识星球的验证规则。本文通过解析知识星球 API 的核心原理，实现了从签名生成、接口请求到数据存储的全流程 API 爬虫，相比传统网页爬虫，API 爬虫具有。编写主程序，实现从「获取星球列表→遍历星球→获取主题列表→获取主题详情→保存数据」的全流程，同时添加分页逻辑，确保抓取所有数据。在工具类的基础上，实现具体的业务功能，包括获取星球列表、主题列表、主题详情，并将数据保存为 JSON 文件，方便后续分析。
2026-02-03 16:43:16
1136
原创 实测数据：多进程、多线程、异步协程爬虫速度对比
进程间通过管道、队列等机制通信，开销高于线程，但能突破 GIL 限制，适合 CPU 与 I/O 混合密集型的爬虫场景（如爬取后需即时解析数据）。这意味着 CPU 密集型任务无法通过多线程实现真正并行，但 I/O 密集型的爬虫场景（网络请求等待占比超 90%）中，线程切换能有效利用等待时间，提升整体效率。协程的切换由程序自身控制（用户态），无需操作系统内核参与，切换开销远低于线程 / 进程，是纯 I/O 密集型爬虫的最优解。：异步协程 + 多进程结合，协程处理 I/O，进程处理解析，兼顾效率与多核利用。
2026-02-02 16:39:41
835
原创 高效爬取某宝：Python JS 逆向与多线程结合实践
的组合，实现了某宝数据的高效爬取，核心完成了三个关键环节：通过抓包与开发者工具破解了某宝的 JS 加密参数、使用 execjs 实现了 Python 与 JS 的交互、基于 ThreadPoolExecutor 完成了多线程改造，最终实现了爬取效率的大幅提升。掌握这些技术的核心，并非为了突破反爬进行恶意爬取，而是为了在合法合规的前提下，实现数据的高效获取与分析，让技术服务于合理的业务需求。：严格遵守某宝的《用户协议》《机器人协议（robots.txt）》，不突破平台的反爬限制，不发起恶意请求；
2026-01-29 16:27:17
1600
原创 利用 Pandas 与爬虫技术挖掘科技新闻趋势
而 Python 生态中的爬虫技术能高效采集科技新闻数据，Pandas 库则可完成数据的清洗、分析与可视化，二者结合能实现科技新闻的自动化采集与深度趋势挖掘，为科技行业研究、投资决策、内容创作提供数据支撑。运行代码后，将生成来源分布饼图，可清晰看到 36 氪科技板块的核心内容来源，如 “36 氪原创” 为主要来源，占比超 80%，保证了新闻的原创性和权威性。同时为提升分析实用性，新增。分析不同小时、不同日期的科技新闻发布量，可发现科技新闻的发布规律（如是否存在早高峰、晚高峰，哪些日期科技新闻更新更频繁）。
2026-01-28 16:42:08
1120
原创 使用随机时间间隔提升爬虫隐蔽性
模拟人类的点击、翻页、滚动行为，对于动态渲染的页面（JavaScript 加载），使用 Selenium/Playwright 代替 requests，模拟浏览器的滚动、点击按钮等操作，同时在操作之间添加随机休眠，让行为更贴近人类。需要注意的是，随机时间间隔并非 “越随机越好”，间隔过短仍会触发频率检测，间隔过长则会大幅降低爬虫效率，：人类访问网页的间隔一般在 1-10 秒，避免设置过短（如小于 0.5 秒）或过长（如超过 30 秒）的间隔，同时可引入少量的长间隔，模拟人类临时离开的行为；
2026-01-27 16:36:32
1175
原创 链家二手房数据爬取、聚类分析与可视化展示实践
建筑面积约 100-120㎡，挂牌价格约 600-800 万，单价约 6-7 万 / 平，主要为三居、四居改善型户型，分布在朝阳、海淀、丰台等近郊区域，兼顾居住品质和交通便利性；：建筑面积约 60-80㎡，挂牌价格约 300-400 万，单价约 5-6 万 / 平，主要为一居、两居小户型，分布在通州、昌平、房山等远郊区域，适合刚需购房者；等问题，无法直接用于聚类分析。：使用的爬虫、数据处理、机器学习、可视化技术均为 Python 数据分析的通用技术，可迁移到电商、金融、教育等其他领域的数据分析项目。
2026-01-26 16:40:20
890
原创 绕过拼多多 App 反抓包机制的综合逆向解决方案
拼多多 App 内置了可信 CA 证书的哈希值，在 HTTPS 握手阶段，会对比服务器返回的证书哈希与本地预置值，若不一致（如抓包工具的中间人证书），则直接中断连接。这些防护机制相互配合，当检测到抓包工具（如 Charles、Fiddler）的存在时，App 会触发流量加密、请求拒绝甚至进程退出等反制措施。拼多多 App 的反抓包机制是多层防护体系，需从 Root 检测、SSL Pinning、代理检测、参数加密等维度分层突破；：Root / 越狱检测、调试器检测、模拟器检测、文件完整性校验。
2026-01-22 16:43:45
1150
原创 移动端Temu App数据抓包与商品爬取方案
随着跨境电商行业的快速迭代，Temu凭借“低价策略+全球供应链”优势，快速抢占全球市场，成为跨境电商领域的核心玩家之一。对于开发者、电商分析师而言，获取Temu App的商品数据（如商品标题、价格、销量、评价、品类信息等），能够支撑竞品分析、选品决策、价格监控等核心需求。与网页端爬取不同，移动端Temu App采用加密接口通信，且存在严格的反爬机制（如证书校验、设备指纹、请求频率限制等），直接爬取难度较大。
2026-01-21 16:42:11
1363
原创 基于 Python 的知网文献批量采集与可视化分析
在学术研究与文献综述工作中，知网（CNKI）作为国内最核心的学术文献数据库，其文献数据的采集与分析是研究工作的重要基础。本文将系统介绍如何基于 Python 实现知网文献的批量采集，并通过可视化手段对采集到的文献数据进行多维度分析，帮助研究者快速挖掘文献背后的研究趋势、关键词分布等核心信息。采集过程中应遵守知网的用户协议，控制采集频率，避免对服务器造成压力。Pandas+Matplotlib/WordCloud 可实现文献数据的多维度可视化分析，快速挖掘研究热点、高影响力文献等核心信息；
2026-01-20 16:42:21
1855
原创 使用 requests 库处理爱奇艺 Cookie 与 Session 管理
这种方式适用于单次请求或 Cookie 数据固定不变的场景，但缺点明显：多请求场景下需要重复传递 Cookie 字典，Cookie 更新后无法自动同步，灵活性较差，不适合爱奇艺多接口连续操作的场景。—— 第一次请求获取到服务器下发的 Cookie 后，会自动存储在 Session 对象中，后续所有请求都会自动携带这些 Cookie，无需手动干预，完美适配爱奇艺的连续操作场景。Cookie 存储在客户端，是身份认证的核心凭证，Session 对象可自动维护 Cookie，简化多请求操作；
2026-01-16 16:04:33
1134
原创 随机间隔在 Python 爬虫中的应用实践
高频次的密集请求会给目标网站的服务器带来巨大压力，甚至可能导致服务器宕机，这不仅违背了网络爬虫的伦理规范，还可能涉及法律风险。设置合理的随机间隔，能够均匀分散请求压力，既是对目标网站服务器的保护，也能让爬虫行为更具合规性。而合理使用随机间隔，能够大幅降低 IP 被封禁的概率，让爬虫任务能够长时间稳定运行，提升整体的数据采集效率。实现 Python 爬虫的随机间隔，主要依赖两个核心工具，分别对应不同的爬虫场景，开发者可根据需求选择。），遵守网站的爬取规则，避免爬取敏感数据和受保护内容，确保爬虫行为合法合规。
2026-01-15 16:42:44
2670
原创 爬虫技术选股：Python 自动化筛选潜力股
本文通过 Python 的 Requests、BeautifulSoup4 与 Pandas 三大核心库，实现了一套完整的自动化选股流程，从公开金融数据抓取到标准化清洗，再到基于价值投资指标的潜力股筛选，最终完成结果输出与本地保存。本次我们抓取东方财富网的 A 股列表数据，提取核心选股指标。：轻量高效的 HTTP 请求库，负责向金融数据网站发送请求，获取公开的个股行情与财务数据，是爬虫实现的核心工具。：高性能的数据处理与分析库，负责对提取的金融数据进行清洗、整理、指标计算与筛选，是实现选股逻辑的关键支撑。
2026-01-14 16:45:44
2597
原创 某程旅行小程序爬虫技术解析与实战案例
打开某程旅行小程序，进入「酒店」板块，选择某一城市（如北京），筛选入住 / 离店日期，触发数据加载。响应数据：JSON 格式，包含酒店 ID、酒店名称、价格、评分、地址等核心字段，无复杂加密（部分接口可能对响应数据进行 AES 加密，需进一步解析）。微信小程序抓包配置：打开手机微信（或电脑微信模拟器），连接与电脑同一局域网，配置手机代理为电脑 IP+8888，安装 Charles 手机证书；：解析请求头、请求参数、响应数据的结构，识别加密参数（如 sign、timestamp、nonce）的生成逻辑；
2026-01-13 16:42:51
2072
原创 如何用 Selenium 解决新闻数据批量采集难题
浏览器执行 WebDriver 传递的操作指令，完成页面加载、元素交互等动作，并将执行结果返回给 Selenium 脚本，最终实现页面数据的提取与保存。代码中提供了无头模式（隐藏浏览器窗口）的配置，注释解除后即可启用，适合在服务器端运行，提升采集效率；Cookie 持久化：登录一次网站后，保存 Cookie 信息，后续采集直接加载 Cookie，避免重复登录，减少被反爬识别的概率。多线程 / 多进程采集：针对多个新闻栏目或多个网站，采用多线程或多进程的方式并行采集，充分利用系统资源，大幅提升采集速度；
2026-01-12 16:51:12
1942
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人