![](https://img-blog.csdnimg.cn/direct/b565c902c22749f1ad1e5d7933f6175d.jpeg?x-oss-process=image/resize,m_fixed,h_224,w_224)
爬虫抓取
文章平均质量分 76
网络抓取相关知识分享
程序员的开发手册
公众号:程序员的开发手册
展开
-
解决 aiohttp 独有的 “Got more than 8190 bytes (11984) when reading Header value is too long“ 错误
aiohttp 的 "Got more than 8190 bytes when reading Header value is too long" 错误通常是由于请求头过大引起的。虽然可以尝试通过修改 HeadersParser 来解决,但在 macOS 上这种方法可能无效。最终,通过在 ClientSession 中直接修改参数,可以更有效地解决这个问题。这种方法简单直接,适用于大多数场景。希望通过这篇文章,你能更好地理解和解决 aiohttp 中遇到的头信息过大的问题。原创 2024-06-27 10:59:02 · 969 阅读 · 0 评论 -
关键参数testab的生成过程及jsvmp算法学习
通过以上步骤,我们可以实现对关键参数testab的生成,并通过合理的防封禁策略确保接口请求的安全性。每个步骤的代码和逻辑都经过仔细测试,确保无bug且能正常运行。通过这些措施,我们可以在实际项目中有效地使用jsvmp算法生成关键参数并进行接口请求。以上内容仅供学习参考,需要代码的关注私信。代码禁止用作商业或非法用途,否则后果自负!!!!!!!代码禁止用作商业或非法用途,否则后果自负!!!!!!!代码禁止用作商业或非法用途,否则后果自负!!!!!!!如有违规侵权,请联系我删除!!!!!!!原创 2024-06-18 12:06:28 · 1137 阅读 · 0 评论 -
Playwright--通过storage来加载和保存Cookies
在使用Playwright时,通过storage来加载和保存Cookies是一种更高级的方法。这种方法不仅可以保存Cookies,还可以保存本地存储(LocalStorage)等浏览器上下文数据,确保会话的完整性。本文将详细介绍如何通过storage加载和保存Cookies。原创 2024-06-14 07:01:06 · 668 阅读 · 0 评论 -
JS 算法学习之请求中的 testab 参数
在浏览器中调试和跟踪 JavaScript 代码是前端开发的常见需求。对于一些动态生成的代码,传统的方法是通过模拟环境来执行这些代码,例如使用 vm2 模块。但是,这种方法可能过于繁琐,特别是在我们只需要快速测试和学习的场景中。本文将介绍一种更为实用的方式,通过 WebSocket 让代码在真实环境中运行,并获取其计算结果。此外,在浏览器端,我们通过 WebSocket 发送动态生成的代码片段。这种方法可以确保代码在真实的 JavaScript 环境中执行,从而避免了模拟环境可能带来的兼容性问题。原创 2024-06-13 07:34:37 · 514 阅读 · 0 评论 -
爬虫系列-Playwright加代理,你真的会用了吗?
也许你会好奇为什么会有这种需求,举个例子:有一个页面,其中某个特定请求需要使用代理,同时对于上传、下载图片这种流量大户不能用代理,在处理这种问题时全局代理和context代理就显得有点捉襟见肘了,因为页面中所有请求都会经过代理,假如你的代理服务器带宽是按量收费~~呵呵...;无论是启动浏览器时设置代理、在上下文中设置代理,还是为某个请求单独设置代理,都可以满足不同的需求。通过创建带有代理配置的浏览器上下文来实现。使用上下文设置代理:在创建浏览器上下文时设置代理,这样可以在同一浏览器实例中使用不同的代理。原创 2024-06-09 09:25:20 · 1116 阅读 · 0 评论