爬虫初尝试

摘要

利用python编写了可以实现批量下载网页图片的爬虫程序。在编写过程程中学到了一些新的函数和新的思想；其中最主要的是模块化函数封装，每个函数完成制定任务，便于调试和函数再利用。

目标网页：http://jandan.net/ooxx

程序线性流程：利用urllib访问目标网页 --> 得到 [目标页面网址] 列表 ----> 每个页面网址得到 [图片网址] 列表 ----> 利用图片网址保存文件到本地

说明：由于还没有学正则表达，本程序中对html文件对处理，直接简单粗暴对用find（）函数。

程序流程图

源代码：

import urllib.request
import os

def url_open(url):
    request = urllib.request.Request(url)
    request.add_header('User-Agent','Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36')
    response = urllib.request.urlopen(url)
    html =response.read()
    

    return html


def get_page(url):
    html = url_open(url).decode('utf-8')
    a = html.find('current-comment-page') + 23
    b = html.find(']',a)

    print(html[a:b])
    return html[a:b]
    
   

def find_imgs(url):
    html = url_open(url).decode('utf-8')
    img_addrs = []

    
    a = html.find('img src=')
    while a != -1:
        b = html.find('.jpg',a,a+255)
        if b != -1:
            img_addrs.append(html[a+9:b+4])
        else:
            b = a+9
        a = html.find('img src=',b)
    return img_addrs

def save_imgs(folder,img_addrs):
    for each in img_addrs:
        filename = each.split('/')[-1]
        with open(filename,'wb') as f:
            img = url_open('http:'+ each)
            f.write(img)



def download_mm(folder='ooxx',pages=6):  ##下载前6页
    os.mkdir(folder)    #创建文件夹
    os.chdir(folder)    #改变目录


    url = "http://jandan.net/ooxx"
 
    page_num = int(get_page(url))

    for i in range(pages):
        page_num -= i
        page_url = url + '/page-' + str(page_num) + '#comments'
        img_addrs = find_imgs(page_url)
        save_imgs(folder,img_addrs)

if __name__ == '__main__':
    download_mm()