Python3爬虫Xpath使用

最新推荐文章于 2024-04-07 08:00:00 发布

1eeMamas

最新推荐文章于 2024-04-07 08:00:00 发布

阅读量204

点赞数

分类专栏： python爬虫

本文链接：https://blog.csdn.net/kkLeung/article/details/105440834

版权

python爬虫专栏收录该内容

7 篇文章 0 订阅

订阅专栏

爬取代理实例

from lxml import etree
import requests
from fake_useragent import UserAgent

headers={
    'User-Agent':UserAgent().chrome
}
url='https://www.xicidaili.com/nn/'

response=requests.get(url,headers=headers)

e=etree.HTML(response.text)
trs=e.xpath('//table[@id="ip_list"]/tr')
for num in range(2,len(trs)):

    ip=trs[num].xpath('td[2]/text()')
    port=trs[num].xpath('td[3]/text()')
    type=trs[num].xpath('td[6]/text()')
    print(type[0] + '://' + ip[0] + ':' + port[0])