可能是最全的User-Agent列表

最新推荐文章于 2024-09-29 09:45:28 发布

小菜菜-K

最新推荐文章于 2024-09-29 09:45:28 发布

阅读量3.8k

点赞数

分类专栏： PYTHON 文章标签： https

原文链接：https://www.jianshu.com/p/3c97e0e11223

版权

PYTHON 专栏收录该内容

44 篇文章 4 订阅

订阅专栏

本文介绍了一个从useragentstring.com获取浏览器User-Agent字符串的过程，通过Python的requests和lxml库下载并过滤掉长度小于80的字符串，最终保存为CSV文件。此外，还提到了该网站提供的User-Agent验证接口，可用于检查UA的有效性。

摘要由CSDN通过智能技术生成

User-Aagent String这个网站收集了爬虫、浏览器、主机、邮件客户端等客户端的请求头的UA字段。其中浏览器的UA头有将近10000个。但是访问这个网站很慢。

http://useragentstring.com/pages/useragentstring.php

把浏览器的所有UA头下载下来，字符串长度小于80的丢弃，存成csv文件，得到6244条：

# -*- coding: utf-8 -*-

import requests
import pandas as pd
from lxml import etree

url = 'http://useragentstring.com/pages/useragentstring.php?typ=Browser'

header = {
        'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8',
        'User-Agent': 'Mozilla/5.0 (compatible; ABrowse 0.4; Syllable)'
    }

response = requests.get(url,
                        headers=header,
                        timeout=60
                        )

tree = etree.HTML(response.text)
browsers = tree.xpath('//ul/li/a/text()')
browsers = [browser for browser in browsers if len(browser)>80]

print(browsers)
print(len(browsers))

df = pd.DataFrame({'id':range(1,len(browsers)+1), 'ua':browsers})
print(df)

df.to_csv('user_agents.csv', index=False)

这个网站还提供了一个验证ua的接口，比较实用：

http://www.useragentstring.com/?uas=Opera/9.70%20(Linux%20i686%20;%20U;%20en-us)%20Presto/2.2.0&getJSON=all

下面是部分的，完整的太长，超出了文章长度限制：

UA_LIST = ['Mozilla/5.0 (compatible; U; ABrowse 0.6; Syllable) AppleWebKit/420+ (KHTML, like Gecko)', 'Mozilla/5.0 (compatible; U; ABrowse 0.6;  Syllable) AppleWebKit/420+ (KHTML, like Gecko)', 'Mozilla/5.0 (compatible; MSIE 8.0; Windows NT 6.0; Trident/4.0; Acoo Browser 1.98.744; .NET CLR 3.5.30729)', 'Mozilla/5.0 (compatible; MSIE 8.0; Windows NT 6.0; Trident/4.0; Acoo Browser 1.98.744; .NET CLR   3.5.30729)', 'Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.0; Trident/4.0;   Acoo Browser; GTB5; Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1;   SV1) ; InfoPath.1; .NET CLR 3.5.30729; .NET CLR 3.0.30618)', 'Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 5.1; Trident/4.0; SV1; Acoo Browser; .NET CLR 2.0.50727; .NET CLR 3.0.4506.2152; .NET CLR 3.5.30729; Avant Browser)', 'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.0; Acoo Browser; SLCC1;   .NET CLR 2.0.50727; Media Center PC 5.0; .NET CLR 3.0.04506)', 'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.0; Acoo Browser; GTB5; Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1) ; Maxthon; InfoPath.1; .NET CLR 3.5.30729; .NET CLR 3.0.30618)', 'Mozilla/4.0 (compatible; Mozilla/5.0 (compatible; MSIE 8.0; Windows NT 6.0; Trident/4.0; Acoo Browser 1.98.744; .NET CLR 3.5.30729); Windows NT 5.1; Trident/4.0)', 'Mozilla/4.0 (compatible; Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 5.1; Trident/4.0; GTB6; Acoo Browser; .NET CLR 1.1.4322; .NET CLR 2.0.50727); Windows NT 5.1; Trident/4.0; Maxthon; .NET CLR 2.0.50727; .NET CLR 1.1.4322; InfoPath.2)', 'Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.0; Trident/4.0; Acoo Browser; GTB6; Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1) ; InfoPath.1; .NET CLR 3.5.30729; .NET CLR 3.0.30618)']

作者：SeanCheney
链接：https://www.jianshu.com/p/3c97e0e11223
来源：简书
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。