- 博客(4)
- 收藏
- 关注
RSS订阅原创 Python爬虫最终章：从反爬破解到数据分析与深度学习整合
本文是爬虫技术的终极指南，重点介绍了三大核心领域：破解高级反爬机制、构建工程化爬虫项目以及数据在深度学习中的应用。在反爬策略方面，详细讲解了动态IP代理池、浏览器行为模拟和验证码处理等高级技巧。工程化部分重点介绍了Scrapy框架的使用和分布式爬虫的实现。最后探讨了爬虫数据在图像分类、NLP等深度学习任务中的应用，并提供了完整的舆情监控系统实战案例。文章还强调了爬虫技术的道德法律底线，包括遵守robots.txt协议和控制访问频率等规范。
2025-11-29 11:15:23
1176
原创 Python爬虫入门到精通（二）：从基础到进阶，构建你的数据抓取利器
本文是爬虫技术的进阶指南，重点解决多页抓取、动态内容处理和数据处理等核心问题。首先介绍了通过分析URL规律实现多页循环抓取的方法，并强调请求间隔和错误处理的重要性。针对动态加载内容，对比了Selenium和Requests的适用场景及优缺点。在数据清洗部分，展示了如何使用Pandas高效处理数据并存储为多种格式。最后着重强调了爬虫的伦理规范，包括遵守robots.txt协议、设置合理请求间隔等注意事项。文章预告了下篇将探讨反爬策略、Scrapy框架应用及数据分析结合等内容。
2025-11-22 01:05:19
974
原创 什么是游戏的“平行时空”？王者荣耀
因为游戏引擎是“确定性”的（相同的输入必然产生相同的输出），所以就能完美复现当时的画面。在你的客户端上，你执行了操作（如释放技能），但在服务器和其他玩家的客户端上，这个操作从未发生。你的客户端本地模拟的状态与服务器的权威状态不一致，这就是“影子对局”。你的操作指令很久才到达服务器，此时服务器上的游戏状态已经向前推进了很多，导致你的操作“慢了一拍”。架构是核心：采用权威服务器架构，并配合客户端预测、服务器协调等机制，是解决网络同步问题、减少“影子对局”的关键。真正的回放机制，是一个“确定性复盘”的过程。
2025-11-20 19:37:06
664
1
原创 Python爬虫入门到精通（带注释）
查看 robots.txt ：在爬取前，访问 网站域名/robots.txt （如 https://douban.com/robots.txt ），查看网站是否允许爬虫以及哪些目录不允许爬取。现在，运行你的Python脚本，你就能在当前目录下得到一个名为 douban_top250_movies.csv 的文件，用Excel或文本编辑器打开就能看到爬取的结果了！这是最关键的一步：我们需要打开浏览器的“开发者工具”，查看网页结构，找到数据藏在哪个HTML标签里。遵守网站条款：不爬取个人隐私或明确禁止的内容。
2025-11-15 22:25:42
1263
3
数据分析.py，电商销售数据分析
2025-11-26
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人