- 博客(5)
- 收藏
- 关注
RSS订阅原创 实现爬虫网页自动登录？来烘焙饼干吧（cookies）（源码）
众所周知，使用 browser = webdriver.Chrome() 实现的网页自动化没法自动保存cookies，也就意味着你没法在你要爬的网页上保持登录状态。勤快点的你说你可以每次都手动登录一下，但网页会记录你一段时间内的登录次数，如果超限会判定你为自动脚本而封禁你的IP，因此使用cookies势在必行。好消息是webdriver提供了加载cookies的功能，好消息是webdriver更提供了获取cookies的功能。
2024-02-04 21:30:10
392
1
原创 爬虫第一步：如何定位网页资源（元素），以Pixiv为例
其实最开始我学习爬虫的时候，难的不是写代码，毕竟python的网页相关代码都是封装好的，调用一下API就可以了。事实上不是，因为现代的网页显示的内容可不少，但事实上用户很可能浏览不了那么多内容，如果每次用户点开一个网页，就把用户可能看到的东西全部载入，不但服务器带宽受不了，用户内存可能也受不了，因此现代网页都使用JavaScript动态加载用户期望看到的内容。比如说我想看图片A，但我还没翻到图片A的页面，那么图片A自然就没有加载，自然也不会出现在网页的HTML代码里，我们自然也不可能通过爬虫获取它的数据。
2024-02-02 14:39:34
943
原创 Pygame优化——脏矩形技术使用指南与避坑
在学pygame的早期，当我们学习了如何将图片贴到屏幕上后，就很难不感觉这个东西挺简单的。或者如果在学习pygame之前我们只有使用C语言开发过嵌入式设备经历，也会使用硬件显示器开发的逻辑来写pygame的 代码，但问题就会出现了：当你载入了大量图片后，整个主循环就会变得极度冗长，运行速度极度低下，可能我们只载入了十几张图片，整个代码跑起来就只剩下个位数的FPS。因为：脏矩形技术检测到精灵要更新后，会首先将精灵所在区域的背景截下，并覆盖精灵，如果你的精灵背后没有精灵可供截图了，自然也就没法覆盖精灵了；
2024-02-01 11:06:43
2045
1
原创 Pygame隐藏标题窗口的移动方法及试错
所以正确的方法是导入pyautogui（import pyautogui）用start_abs_pos = pyautogui.position()获取物理屏幕的绝对坐标，而后 shifting_pos = (end_abs_pos[0] - start_abs_pos[0], end_abs_pos[1] - start_abs_pos[1])获取差值坐标再传递给moveWin函数，最后的实现效果如图所示。但又引出了一个问题：没有了导航栏，pygame的窗口就没法移动了。Chapter 2.2 问题。
2024-01-19 15:14:54
563
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人