Python3爬虫pyquery使用

最新推荐文章于 2024-03-27 15:56:14 发布

1eeMamas

最新推荐文章于 2024-03-27 15:56:14 发布

阅读量190

点赞数

分类专栏： python爬虫

本文链接：https://blog.csdn.net/kkLeung/article/details/105440031

版权

python爬虫专栏收录该内容

7 篇文章 0 订阅

订阅专栏

爬取代理实例

from pyquery import PyQuery as pq
import requests
from fake_useragent import UserAgent

headers={
    'User-Agent':UserAgent().chrome
}
url='https://www.xicidaili.com/nn/'

response=requests.get(url,headers=headers)

doc=pq(response.text)
trs=doc('#ip_list tr')
for num in range(1,len(trs)):
    ip=trs.eq(num).find('td').eq(1).text()
    port=trs.eq(num).find('td').eq(2).text()
    type=trs.eq(num).find('td').eq(5).text()
    print(type+'://'+ip+':'+port)