从零开始的爬虫生涯（二）：爬取小姐姐的照片②（网站已停用）

前言

从这篇文章开始，我们将通过连续的几篇文章来爬取某妹网（url ：https://imoemei.com/）的所有小姐姐照片。借这个例子我们一起学习简易的python爬虫。
相关文章请看

从零开始的爬虫生涯（一）：爬取小姐姐的照片①

从零开始的爬虫生涯（三）：爬取小姐姐的照片③

---

思路分析

1.页面源码分析

由于上次我们已经把一个页面的小姐姐图片全部爬下来了，所以现在我们只需要获取每个页面的url，然后再每个页面都爬一次就OK了

说干就干！
首先我们先查看页面源码

发现一个url，点进去看看

结果只是封面。。。再找，发现它就在刚刚的封面上面！芜湖！

观察整个页面的代码
所有页面的url就放在这些li块中
那么我们只需通过与上篇文章类似的思路取出每个页面的url就大功告成！

2.爬虫思路

直接用request取到整个网页，再用BeatutifulSoup解析网页，取出所有的页面链接，再遍历链接，按照上篇文章的方法保存图片。

爬虫代码

1.开发环境

开发环境：win10 python3.6.8
使用工具：pycharm
使用第三方库：requests、os、BeatutifulSoup

2.代码分解

（1）.引入库

import requests
import os
from bs4 import BeautifulSoup

（2）获取每个页面的地址

target_url = "https://imoemei.com/zipai/"
r = requests.get(url=target_url)
html = BeautifulSoup(r.text, 'html5lib')
b2_gap = html.find('ul', class_='b2_gap')
print(str(1) + "page is OK")
img_main = b2_gap.find_all('a', class_='thumb-link')
img_main_urls = []
for img in img_main:
    img_main_url = img.get('href')
    img_main_urls.append(img_main_url)

（3）.获取每张图片的地址

for j in range(len(img_main_urls) + 1):
    print(img_main_urls[j])
    r = requests.get(url=img_main_urls[j])

    html = BeautifulSoup(r.text, 'html5lib')
    entry_content = html.find('div', class_='entry-content')
    img_list = entry_content.find_all('img')
    img_urls = []
    num = 0
    name = html.find('h1').text
    print(name)
     for img in img_list:
        img_url = img.get('src')
        result = requests.get(img_url).content

（4）.保存图片到指定文件夹

		path = '图片'
        if not os.path.exists(path):
            os.mkdir(path)

        f = open(path + '/' + name + str(num) + '.jpg', 'wb')
        f.write(result)
        num += 1
        print('正在下载{}第{}张图片'.format(name, num))

3.整体代码

import requests
import os
from bs4 import BeautifulSoup

target_url = "https://imoemei.com/zipai/"
r = requests.get(url=target_url)
html = BeautifulSoup(r.text, 'html5lib')
b2_gap = html.find('ul', class_='b2_gap')
print(str(1) + "page is OK")
img_main = b2_gap.find_all('a', class_='thumb-link')
img_main_urls = []

for img in img_main:
    img_main_url = img.get('href')
    img_main_urls.append(img_main_url)

for j in range(len(img_main_urls) + 1):
    print(img_main_urls[j])
    r = requests.get(url=img_main_urls[j])

    html = BeautifulSoup(r.text, 'html5lib')
    entry_content = html.find('div', class_='entry-content')
    img_list = entry_content.find_all('img')
    img_urls = []
    num = 0
    name = html.find('h1').text
    print(name)

    for img in img_list:
        img_url = img.get('src')
        result = requests.get(img_url).content

        path = '图片'
        if not os.path.exists(path):
            os.mkdir(path)

        f = open(path + '/' + name + str(num) + '.jpg', 'wb')
        f.write(result)
        num += 1
        print('正在下载{}第{}张图片'.format(name, num))

爬取结果

这次爬取只爬了自拍分项下的第一页，下一篇文章我们将爬取所有分项的所有页面，敬请期待。