【数据采集】使用scrapy采集天气网、豆瓣数据信息_基于scrpy爬虫的天气数据采集(2)

+ [1.2 思路](#12__17)
+ - [1.2.1 发送请求](#121__19)
	- [1.2.2 解析网页](#122__49)
	- [1.2.3 获取结点](#123__62)
	- [1.2.4 数据保存 (单线程)](#124___87)
	- [1.2.4 数据保存 (多线程)](#124___99)

• 实验 2
• • 2.1 题目
    • 2.2 思路
    • • 2.2.1 setting.py
        • 2.2.2 item.py
        • 2.2.3 wt_Spider.py
        • 2.2.4 pipelines.py
• 实验 3
• • 3.1 题目
    • 3.2 思路
    • • 3.2.1 setting.py
        • 3.2.2 item.py
        • 3.2.3 db_Spider.py
        • 3.2.4 pipelines.py
• 福利

实验 1

1.1 题目

指定一个网站，爬取这个网站中的所有的所有图片，例如中国气象网（http://www.weather.com.cn），分别使用单线程和多线程的方式爬取。(限定爬取图片数量为学号后3位)

输出信息: 将下载的Url信息在控制台输出，并将下载的图片存储在images子文件中，并给出截图。

1.2 思路

1.2.1 发送请求

• 构造请求头

import requests,re
import urllib

headers = {
    'Connection': 'keep-alive