爬虫初学者(大概了解一下爬虫)

网络爬虫（又称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。

爬取的网址

 下面是详细的代码

# 第一步，找到所要爬取图片的地址
"""
1.请求目标网站
2.匹配不同图片地址（url）
3.找到所要爬取图片的地址
"""


def get_urls(url):
    h =  {
        'Referer': "https://qq.yh31.com/zjbq/2920180.html",
        'Host': "qq.yh31.com",
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/102.0.5005.63 Safari/537.36 Edg/102.0.1245.33',
    }
    # 1.请求目标网站
    response = requests.get(url, headers=h)

    # 2.通过正则来匹配不同图片地址（url）
    """
    # 每张图片共有内容保留，不同的内容用.*?来匹配
    # .*：表示匹配任意数量不换行的字符
    # ?：表示尽可能匹配最短的字符
    r'<img border="0" alt="" src="/tp/Photo7/ZJBQ/20099/200909291701134159.gif">'
    """

    url_add = r'img.*? src="(.*?)"'
    # url_add = r'img border="0".?* src="(.*?)"'
    # print(url_add)
    # 3.找到所要爬取图片的地址
    url_list = re.findall(url_add, response.text)
    # print(url_list)
    response.close()
    return url_list


# 第二步，根据凭借完整的地址，下载图片数据
def get_gif(url, name):
    print("下载图片", url)
    h = {
        'Referer': "https://qq.yh31.com/zjbq/2920180.html",
        'Host': "qq.yh31.com",
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/102.0.5005.63 Safari/537.36 Edg/102.0.1245.33',
    }
    r = requests.get(url, headers=h, stream=True)
    # 1.请求要爬取图片的url
    # print(name)
    # 2.下载数据，保存到路径下 D:\\learn\\img
    with open('D:\\learn\\img\\%s' % name, 'wb') as ft:
        ft.write(r.content)
    r.close()
    print("等待下一次下载")
    time.sleep(2)


if __name__ == '__main__':

    url = 'https://qq.yh31.com/zjbq/2920180.html'
    url_list = get_urls(url)

    # 把列表当中的数据提取，并拼接成完整的图片url地址
    for url in url_list:
        # print(url)
        gif_name = url[int(url.rfind('/')) + 1:]
        # print(url[int(url.rfind('/')) + 1:])
        # print(gif_name)
        com_url = 'https://qq.yh31.com' + url
        print(com_url)
        # 调用下载图片函数
        get_gif(com_url, gif_name)

爬取结果和保存 

代码是经过修改后的，没什么经验，第一次爬取网站表情包，欢迎批评指正。代码没毛病但是可能反爬的比较厉害，所以可能会出现一些错误。