【数据采集】使用scrapy采集天气网、豆瓣数据信息_基于scrpy爬虫的天气数据采集(2)

+ [1.2 思路](#12__17)
+ - [1.2.1 发送请求](#121__19)
	- [1.2.2 解析网页](#122__49)
	- [1.2.3 获取结点](#123__62)
	- [1.2.4 数据保存 (单线程)](#124___87)
	- [1.2.4 数据保存 (多线程)](#124___99)

• 实验 2
• • 2.1 题目
    • 2.2 思路
    • • 2.2.1 setting.py
        • 2.2.2 item.py
        • 2.2.3 wt_Spider.py
        • 2.2.4 pipelines.py
• 实验 3
• • 3.1 题目
    • 3.2 思路
    • • 3.2.1 setting.py
        • 3.2.2 item.py
        • 3.2.3 db_Spider.py
        • 3.2.4 pipelines.py
• 福利

实验 1

1.1 题目

指定一个网站，爬取这个网站中的所有的所有图片，例如中国气象网（http://www.weather.com.cn），分别使用单线程和多线程的方式爬取。(限定爬取图片数量为学号后3位)

输出信息: 将下载的Url信息在控制台输出，并将下载的图片存储在images子文件中，并给出截图。

1.2 思路

1.2.1 发送请求

• 构造请求头

import requests,re
import urllib

headers = {
    'Connection': 'keep-alive',
    'Cache-Control': 'max-age=0',
    'Upgrade-Insecure-Requests': '1',
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/94.0.4606.61 Safari/537.36',
    'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,\*/\*;q=0.8,application/signed-exchange;v=b3;q=0.9',
    'Accept-Language': 'zh-CN,zh;q=0.9',
}

url = "http://www.weather.com.cn/"
request = urllib.request.Request(url, headers=headers)

• 发送请求

request = urllib.request.Request(url, headers=headers)
r = urllib.request.urlopen(request)

1.2.2 解析网页

页面解析，并且替换回车，方便后续进行正则匹配图片。

html = r.read().decode().replace('\n','')

1.2.3 获取结点

使用正则匹配，先获取所有的a标签，然后爬取a标签下面的所有图片

urlList = re.findall('<a href="(.\*?)" ',html,re.S)

获取所有的图片

allImageList = []
for k in urlList:
    try:
        request = urllib.request.Request(k, headers=headers)
        r = urllib.request.urlopen(request)
        html = r.read().decode().replace('\n','')
        imgList = re.findall(r'<img.\*?src="(.\*?)"', html, re.S)
        allImageList+=imgList
    except Exception as e:
        pass

这里的请求其实也是要用多线程爬取的，所有后续会补上！

1.2.4 数据保存 (单线程)

for i, img in enumerate(allImageList[:102]):
    print(f"正在保存第{i + 1}张图片 路径:{img}")
    resp = requests.get(img)
    with open(f'./image/{img.split("/")[-1]}', 'wb') as f:  # 保存到这个image路径下
        f.write(resp.content)

1.2.4 数据保存 (多线程)

• 引入多进程模块

import threading
# 多线程
def download\_imgs(imgList,limit):
    threads = []
    T = [
        threading.Thread(target = download, args=(url,i))
        for i, url in enumerate(imgList[:limit + 1])
    ]
    for t in T:
        t.start()
        threads.append(t)
    return threads

• 编写下载函数

def download(img_url,name):
    resp = requests.get(img_url)
    try:
        resp = requests.get(img_url)
        with open(f'./images/{name}.jpg', 'wb') as f:
                f.write(resp.content)
    except Exception as e:
        print(f"下载失败: {name} {img\_url} -> {e}")
    else:
        print(f"下载完成: {name} {img\_url}")

就很随机

实验 2

2.1 题目

使用scrapy框架复现作业①

2.2 思路

2.2.1 setting.py

• 解除限制

ROBOTSTXT_OBEY = False

• 设置保存图片的路径

IMAGES_STORE = r'.\images'  # 保存文件的路径

• 打开pipelines

ITEM_PIPELINES = {    
'weatherSpider.pipelines.WeatherspiderPipeline': 300,
}

• 设置请求头

DEFAULT_REQUEST_HEADERS = {    
'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,\*/\*;q=0.8',    
'Accept-Language': 'en',    
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.16 Safari/537.36',
}

2.2.2 item.py

• 设置要爬取的字段

class WeatherspiderItem(scrapy.Item):    
number = scrapy.Field()    
pic_url = scrapy.Field()

2.2.3 wt_Spider.py

• 发送请求

    def start\_requests(self):        
      yield scrapy.Request(self.start_url, callback=self.parse)

• 获取页面所有的a标签

    def parse(self, response):
        html = response.text
        urlList = re.findall('<a href="(.\*?)" ', html, re.S)
        for url in urlList:
            self.url = url
            try:
                yield scrapy.Request(self.url, callback=self.picParse)
            except Exception as e:
                print("err:", e)
                pass

• 再次请求所有的a标签下面的网址，再找所有的图片返回

    def picParse(self, response):
        imgList = re.findall(r'<img.\*?src="(.\*?)"', response.text, re.S)
        for k in imgList:
            if self.total > 102:
                return 
            try:
                item = WeatherspiderItem()
                item['pic\_url'] = k
                item['number'] = self.total
                self.total += 1
                yield item
            except Exception as e:
                pass

• 那么与存入数据库类似，数据处理全部都应该在pipelines.py中处理，也就是说，pipelines还是要发送请求

2.2.4 pipelines.py

• 导入setting信息

from weatherSpider.settings import IMAGES_STORE as images_store      # 读取配置文件的信息
from scrapy.pipelines.images import ImagesPipeline
settings = get_project_settings()

• 编写保存函数

    def get\_media\_requests(self, item, info):
        image_url = item["pic\_url"]
        yield Request(image_url)

• 这里优化的话，应该保存文件的时候重命名会好一点！

实验 3

3.1 题目

爬取豆瓣电影数据使用scrapy和xpath，并将内容存储到数据库，同时将图片存储在 imgs路径下。

3.2 思路

3.2.1 setting.py

• 解除限制

ROBOTSTXT_OBEY = False

• 数据库配置

HOSTNAME = '127.0.0.1'
PORT = 3306
DATABASE = 'scrapy\_douban'
USERNAME = 'root'
PASSWORD = 'root'

• 请求头

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化学习资料的朋友，可以戳这里无偿获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！