- 博客(4)
- 收藏
- 关注
RSS订阅原创 随机切换user-agent
User Agent中文名为用户代理，是Http协议中的一部分，属于头域的组成部分，User Agent也简称UA。它是一个特殊字符串头，是一种向访问网站提供你所使用的浏览器类型及版本、操作系统及版本、浏览器内核、等信息的标识。通过这个标 识，用户所访问的网站可以显示不同的排版从而为用户提供更好的体验或者进行信息统计；例如用手机访问谷歌和电脑访问是不一样的，这些是谷歌根据访问者的 UA来判断的。UA可以进行伪装。浏览器的UA字串的标准格式：浏览器标识 (操作系统标识;加密等级标识;
2025-05-23 17:41:49
248
原创 了解IP概念和代理IP的使用
品牌划分：电信，联通，移动，广电线缆划分：电话线-Modem，网线-路由器，光纤-路由器上网方式划分：拨号上网，认证上网，静态IP上网请求头中的IP地址并发是HTTP的标准列如Nginx，通常可以在请求头中加X-Real-IP:IP地址基于IP地址：购买短效IP，列如日租10000个，月租500/天基于请求次数：购买代理请求次数，列如1万个基于请求流量：购买请求流量，按请求字节的大小计算将爬虫程序部署到ADSL服务器，封IP后直接重启网络服务。
2025-04-13 16:44:01
729
原创 反爬虫的学习
爬虫，也叫做自动化数据获取程序网站开发者针对爬虫类程序，而做的特殊功能模块，称为反爬侦测请求的字段信息，主动发现爬虫统计请求频率并且自动限制高频的异常请求对数据及数据传输方式进行干扰和加密提供验证识别和输入的网络服务通过AI服务或人工来提供自动化的验证码识别服务。
2025-04-11 13:45:02
1523
TA创建的收藏夹 TA关注的收藏夹
TA关注的人