python爬虫实战:requests爬取妹子图片

利用第三方库requests爬取

本来要爬帅哥图的,想想还是算了,怕被人怀疑取向,糟糕!
这里的requests.get就代表get请求,跟urlopen不设定data参数差不多
但是requests用起来更加方便,还有很多强大功能有空去研究一下,先占坑

from bs4 import BeautifulSoup
from urllib.request import urlretrieve
import requests
import os
import time

head = {"User-Agent": "Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 "
                      "(KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36"}
urlbase = "http://www.shuaia.net"
pages_url = [urlbase]

for i in range(2, 5):
    pages_url.append(urlbase + "/index_%d.html" % i)

pictures_url = []
for url in pages_url:
    req = requests.get(url, head)
    req.encoding = "utf-8"
    html = req.text
    soup = BeautifulSoup(html, 'lxml')
    target = soup.find_all("a", class_="item-img")
    for picture in target:
        name = picture.img.get("alt")
        if "花" in name or "女" in name:
            picture_url = picture.get("href")
            final_link = name + "=" + picture_url
            pictures_url.append(final_link)

for eachurl in pictures_url:
    name, target_url = eachurl.split("=")
    filename = name + ".jpg"
    pic_req = requests.get(target_url, head)
    pic_req.encoding = "utf-8"
    pic_html = pic_req.text
    soup = BeautifulSoup(pic_html, 'lxml')
    div1 = soup.find("div", class_="wr-single-content-list")
    try:
        pic_url = urlbase + div1.img["src"]
        if "Driver_images" not in os.listdir("F:\\"):
            os.makedirs(r"F:\Driver_images")
        urlretrieve(pic_url, "F:\\Driver_images\\" + filename)
        print(name)
    except AttributeError:
        print("无效链接!")
    # time.sleep(1)
    # 小网站不用延时
  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值