自己手动抓取的一些app内置浏览器的UA(User-Agent)

这篇博客整理了作者手动抓取的微信、QQ和微博内置浏览器的User-Agent字符串,包括访问weibo.cn和api.weibo.cn时的不同情况,为理解移动设备上的网页适配提供参考。
摘要由CSDN通过智能技术生成

自己手动抓取的一些app内置浏览器的UA(User-Agent)

微信

Mozilla/5.0 (Linux; Android 8.1.0; vivo X21A Build/OPM1.171019.011; wv) AppleWebKit/537.36 (KHTML, like Gecko) Version/4.0 Chrome/67.0.3396.87 XWEB/880 MMWEBSDK/190301 Mobile Safari/537.36 MMWEBID/15 MicroMessenger/7.0.4.1420(0x2700043C) Process/toolsmp NetType/WIFI Language/zh_CN

QQ

Mozilla/5.0 (Linux; Android 8.1.0; vivo X21A Build/OPM1.171019.011; wv) AppleWebKit/537.36 (KHTML, like Gecko) Version/4.0 Chrome/66.0.3359.126 MQQBrowser/6.2 TBS/044704 Mobile Safari/537.36 V1_AND_SQ_8.0.7_1204_YYB_D QQ/8.0.7.4085 NetType/WIFI WebP/0.3.0 Pixel/1080 StatusBarHeight/84

微博

访问weibo.cn时:

Mozilla/5.0 (Linux; Android 8.1.0; vivo X21A Build/OPM1.171019.011; wv) AppleWebKit/537.36 (KHTML, like Gecko) Version/4.0 Chrome/62.0.3202.84 Mobile Safari/537.36 Weibo (vivo-vivo X21A__weibo__9.6.3__android__android8.1.0)

访问api.weibo.cn时:

vivo X21A_8.1.0_weibo_9.6.3_android

原文来自作者博客

  • 2
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
### 回答1: User-Agent 是 HTTP 协议中的一个请求头字段,用来代表发出请求的客户端的信息。反爬虫技术中的 User-Agent 反爬就是指网站在收到请求时,会先判断请求头中的 User-Agent 字段是否属于合法的浏览器信息。如果不是,则认为是爬虫,可能会拒绝或限制访问。 这种技术常常被用于防止网站被爬虫抓取内容,或者防止恶意攻击。但是,由于 User-Agent 可以被伪造,所以这种技术并不能完全有效地防止爬虫。 ### 回答2: User-Agent反爬(User-Agent Anti-Crawler)是指在网络爬虫程序访问网页时,网站会根据请求中的User-Agent字段的值来判断该请求是否来自合法的浏览器或爬虫程序。当User-Agent字段的值与合法浏览器User-Agent不一致时,网站可能会将该请求视为恶意爬虫请求并进行拦截或限制访问。 User-Agent字段是HTTP请求头部的一部分,用于标识发起请求的客户端。一般情况下,浏览器会在发送请求时自动设置User-Agent字段,将浏览器的类型、版本等信息发送到被请求的网站。然而,一些网络爬虫程序可能会伪造User-Agent字段,将其设置为与合法浏览器不一致的值。 为了应对User-Agent反爬措施,网络爬虫程序可以通过设置合法的User-Agent字段来模拟浏览器的行为,以便顺利获取所需数据。这样的设置可以包括真实的浏览器User-Agent字段值,或者使用一些被广泛接受的爬虫User-Agent字段值,以蒙混过关。 除了User-Agent反爬,网站还可以采取其他防爬措施,如验证码、IP封禁、用户行为分析等。对于网络爬虫程序而言,除了设置合适的User-Agent外,还需要注意合理设置爬取频率,避免给网站造成过大的负荷和干扰正常用户的访问。 总之,User-Agent反爬是一种网站针对爬虫程序做出的识别与拦截机制,通过判断User-Agent字段的值来区分浏览器和爬虫,并对请求进行限制。为了克服这种反爬措施,爬虫程序可以设置合理的User-Agent字段以模拟浏览器行为。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值