Python爬虫天涯论坛美图

最新推荐文章于 2022-09-02 00:34:09 发布

名字好难起2222

最新推荐文章于 2022-09-02 00:34:09 发布

阅读量966

点赞数

分类专栏： python 文章标签： python 爬

本文链接：https://blog.csdn.net/u014299421/article/details/81122335

版权

python 专栏收录该内容

12 篇文章 0 订阅

订阅专栏

import urllib.request
from lxml import etree

headers = ('Referer','http://bbs.tianya.cn/post-funinfo-2325132-1.shtml')#防盗链，修改访问来源
opener = urllib.request.build_opener()
opener.addheaders = [headers]
urllib.request.install_opener(opener)

for i in range(1,22):
    url="http://bbs.tianya.cn/post-funinfo-2325132-"+str(i)+".shtml"
    response = opener.open(url).read().decode("utf-8","ignore")
    html = etree.HTML(response) 
    imagelist = html.xpath('//img/@original')

    for j in range(0,len(imagelist)):
            thisimg=imagelist[j]
            thisimgurl=thisimg
            file="D://python/tyimg/"+str(i)+str(j)+".jpg"
            urllib.request.urlretrieve(thisimgurl,filename=file)