Torres_M-CSDN博客

原创 Python爬虫实战：雪球网沪深A股数据采集（附完整代码）

本文介绍了使用Python爬取雪球网股票数据的实现方法。项目依赖requests库，通过获取Cookie建立会话，实现分页请求股票数据。核心功能包括：1)获取带Cookie的会话；2)分页请求API数据；3)提取关键股票字段；4)CSV存储结果。代码采用随机延时(3-6秒)和重试机制(最多3次)应对反爬，支持自定义采集页数和排序参数。输出包含代码、名称、价格、市值等16个字段，数值自动转换为亿单位。项目结构简单，包含主程序和数据文件，适合中小规模股票数据采集需求。

2026-05-01 00:30:10 438

原创使用Python爬取懂车帝汽车销量数据并实现pyecharts可视化

本文介绍了使用Python爬取懂车帝平台汽车销量数据并实现可视化分析的完整流程。通过requests库发送HTTP请求获取长沙市汽车销量数据，配置随机延时避免封禁，将数据保存为CSV格式。利用pandas进行数据处理后，使用pyecharts生成两种可视化图表：销量TOP15的柱状图直观展示车型销量对比，品牌销量TOP10的饼图清晰呈现市场占有率分布。项目涵盖了从数据采集、存储到分析展示的全链条技术实现，为汽车行业市场分析提供了实用工具。文中特别强调了请求头配置、分页处理和异常预防等爬虫关键技术点，并提供了

2026-04-25 22:27:54 322

原创 Python实战 | 使用 DrissionPage 爬取携程酒店数据并保存为 CSV

本文介绍使用Python库DrissionPage高效爬取携程酒店数据的方法。DrissionPage结合了Selenium的操作便利性和Requests的数据包捕获能力，无需下载驱动即可自动处理浏览器内核，并能直接拦截API接口返回的JSON数据。文章详细讲解了环境配置、核心思路和代码实现，包括模拟点击、监听网络请求、循环翻页等关键步骤。通过解析JSON数据而非HTML标签，大幅提升了爬取速度和稳定性。最后给出了注意事项和优化建议，如浏览器路径修改、反爬策略等。该方法对前后端分离的Web应用爬虫开发具有借

2026-04-21 08:52:38 919

原创 Python爬虫实战｜携程景点数据爬取附完整源码

本文介绍如何用Python爬取携程网景点数据，以武汉市为例，获取景点名称、等级、评分等关键信息。通过分析携程JSON接口，设计面向对象的爬虫类，包含请求头生成、数据提取和CSV存储功能。代码使用Requests库发送POST请求，随机UserAgent防反爬，实现自动分页抓取和结构化存储。核心方法包括构建请求参数、解析JSON响应、处理异常情况等，最终输出包含11个字段的中文CSV文件。该方案比HTML解析更稳定高效，适合旅游数据分析场景。

2026-04-14 20:36:37 1256

原创闲鱼接口sign签名算法逆向分析与Python模拟实现

本文分析了闲鱼接口sign签名的生成算法。签名由dToken、时间戳、appKey和请求数据四部分拼接后MD5加密生成，其中dToken从cookie的_m_h5_tk字段提取。文章详细说明了签名规则、参数来源和Python实现代码，并指出需保持时间戳一致性和cookie时效性。签名验证失败时，需检查参数格式或更新cookie。该算法通过标准MD5哈希确保接口请求的安全性。

2026-03-31 20:30:28 650

原创 Python爬虫实战：爬取携程酒店评论并存入MySQL数据库

本文介绍了如何用Python爬取携程酒店评论并存入MySQL数据库的实战教程。主要内容包括：1) 环境准备（安装Python、MySQL及相关库）；2) 通过开发者工具分析携程评论接口的请求方式和参数；3) 代码实现部分，详细展示了Spider类的初始化设置、请求头配置和数据库连接；4) 获取多页评论数据的方法，包括构造POST请求参数和JSON数据处理。教程强调需替换cookie等关键参数，并建议遵守robots.txt规则，仅用于学习目的。代码采用面向对象方式封装，涉及requests请求、JSON解析

2026-03-26 20:43:52 825 1

原创 Python 实战：骑行数据可视化分析（Pandas+Matplotlib）

本文介绍了使用Python对骑行FIT文件数据进行解析、清洗与可视化的完整流程。通过fitparse库读取原始数据，转换为DataFrame后保存为CSV文件。利用matplotlib绘制了6个子图组成的综合可视化图表，包括海拔-距离、速度-距离、卡路里-距离等折线图以及速度-海拔散点图，全面展示骑行过程中的运动表现。文章提供了完整的代码实现，从数据读取、预处理到可视化配置，并解释了图表中反映的骑行特征（如爬坡对速度的影响等），为运动爱好者分析训练数据提供了实用参考。

2026-03-14 20:31:54 444

原创使用Python爬取B站弹幕并生成词云图

摘要：本文介绍了如何使用Python爬取B站弹幕并生成词云图。通过requests获取弹幕XML文件，利用BeautifulSoup解析弹幕文本，再结合jieba分词和WordCloud库生成可视化词云。关键步骤包括获取视频cid、解析XML数据、分词处理及词云配置。代码示例完整，最终输出弹幕文本文件及词云图片，直观展示观众高频词汇。适用于B站视频评论的情感或热点分析，技术栈涵盖爬虫、文本处理及数据可视化。

2026-03-04 21:45:50 343

原创 Python爬虫实战：网易云音乐榜单歌曲批量下载器

本文将介绍如何使用Python开发一个网易云音乐榜单歌曲批量下载器。这个工具可以帮助你轻松下载网易云音乐任意榜单中的所有歌曲，只需输入榜单名称和ID即可。项目使用requests库进行网络请求，re库进行正则表达式匹配，实现了简单高效的音乐下载功能。这个网易云音乐榜单歌曲批量下载器项目展示了如何使用Python的requests和re库进行简单的网页爬虫和文件下载操作。通过这个项目，你可以轻松下载网易云音乐任意榜单中的所有歌曲，方便离线收听。希望本文对大家学习Python爬虫和文件下载有所帮助！

2026-01-19 17:39:51 2326

原创 Python爬虫实战：爬取麦当劳门店信息并存储到CSV和MySQL

这个项目展示了一个完整的Python爬虫流程，包括数据获取、解析、存储等环节。通过面向对象的方式组织代码，使得程序结构清晰、易于维护。同时，采用了多种反爬措施和异常处理机制，确保爬虫的稳定性和可靠性。

2026-01-18 13:51:52 2116

原创 Python爬虫实战：东方财富网股票数据采集

本文介绍了一个使用Python实现的东方财富网股票数据爬虫。该项目通过requests库发送HTTP请求，结合正则表达式解析返回的JSON数据，并将结果保存到Excel文件中。爬虫采用了随机User-Agent、请求延时等反爬措施，使用tqdm显示进度条提升用户体验。核心功能包括：获取分页股票数据、解析股票详细信息（代码、名称、价格、成交量等16个字段）以及数据存储。该项目完整展示了从网页请求到数据存储的完整爬虫流程，适用于金融数据分析场景。

2026-01-09 22:43:37 2692