手写爬虫-python

常用的python的网络爬虫，包括图片爬虫，链接爬虫，微信爬虫，多线程爬虫。

图片爬虫实战

1. 将京东手机类中关于s10的图片爬取到本地文件中。
   步骤：
   (1) 建立一个爬取图片的自定义和拿书，该函数负责爬取一个页面下我们想爬取的图片，爬取过程为：首项通过urllib.request.urlopen(url).open读取对应网页的全部源代码，然后根据上面的第一个正则表达式进行第一次信息过滤，过滤完成之后，在第一次过滤的基础上所有目标图片的链接地址存储的一个列表中随后，提取出该网页目标图片的链接，并将这些链接储存在一个链表中，随后遍历该列表，分别对应链接通过urllib.request.urlretrieve(imageurl,filename = imagename)存储在本地，为了避免程序中途异常崩溃，我们可以建立异常处理，若不能爬取图片，则会通过x+=1自动跳过下一个图片。
   (2)通过for循环将该分类下的所有网页都爬取一遍，连接可以构造为：url="…"，在Ffor循环里面，每次循环，对应的i会自动加1，每次循环的时候通过调用1中的函数实现该图片的爬取。

import re
import urllib.request
import urllib.error
def craw(url,page):
    htmll = urllib.request.urlopen(url).read()
    htmll = str(htmll)
    #print(htmll)
    pat2 = '<img width="220" height="220" class="err-product" data-img="1" source-data-lazy-img="//(.+?\.jpg)" />'
    imagelist = re.compile(pat2).findall(htmll)
    x = 1
    for imageurl in imagelist:
        imagename = "D:/FPGA/day1/图片/"+str(page)+str(x)+".jpg"
        imageurl='http://'+imageurl
        try:
            urllib.request.urlretrieve(imageurl,filename=imagename)

        except urllib.error.URLError as e: