循环抓取xkcd首页图片

#爬取xkcd首页的图片，并按照链接逐渐抓取下去
import os,requests,bs4

url='https://xkcd.com/'
#创建保存图片的文件夹exist_ok=True确保在存在文件夹时不会抛出异常
os.makedirs('xkcd', exist_ok=True)
#循环抓取首页图片
while not url.endswith('#'):
    print('下载页面%s...' % url)
    #下载首页
    res = requests.get(url)
    res.raise_for_status()
    #抓取首页图片链接
    soup = bs4.BeautifulSoup(res.text, 'html.parser')
    comicElem = soup.select('#comic img')
    if comicElem ==[]:
        print('找不到图片')
    else:
        #图片链接
        comicUrl = 'http:'+comicElem[0].get('src')
        print('下载图片%s...' % comicUrl)
        res = requests.get(comicUrl)
        res.raise_for_status()
        #下载图片
        imageFile = open(os.path.join('xkcd', os.path.basename(comicUrl)), 'wb')
        #每次下载10万b的图片数据
        for chunk in res.iter_content(1000000):
            imageFile.write(chunk)
        imageFile.close()
    #抓取下一页图片链接
    prevLink = soup.select('a[rel="prev"]')[0]
    #初始化链接
    url = 'http://xkcd.com' + prevLink.get('href')

print('Done')

 

转载于:https://www.cnblogs.com/ekin/p/9478026.html