python爬虫

最新推荐文章于 2022-04-17 12:13:37 发布

WX Chen

最新推荐文章于 2022-04-17 12:13:37 发布

阅读量542

点赞数

分类专栏： python

本文链接：https://blog.csdn.net/kl1411/article/details/82906686

版权

python 专栏收录该内容

34 篇文章 0 订阅 ¥19.90 ¥99.00

订阅专栏

超级会员免费看

本文分享了在Python2环境下成功运行的两种网站美女图片爬取方法，详细介绍了相关代码实现。

摘要由CSDN通过智能技术生成

从一个网站爬虫美女图片，使用了两种方法实现，代码分别如下，在python2环境实验成功运行：

# -*- coding: utf-8 -*-
import requests
from requests import RequestException
from bs4 import BeautifulSoup
import re
from multiprocessing import Pool
import os
 
start=10000  #起始图片ID，打开任何一个图集，链接最后的那一串数字，五位数。
end=30000  #终止图片ID，起始初始建议间隔大一些，然后然他自动遍历搜索有效地址 
 
base_url='https://www.nvshens.com/g/'  #宅男女神美图图片专栏下的基本网址

savepath = "./download/"  # 保存图片地址
isExists=os.path.exists(savepath)
if not isExists:
    os.makedirs(savepath)
    
timeset = 10  # 延时
 
user_agent = "Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.81 Safari/537.36"

了解本专栏