python-初级爬虫实例

aaaaaaxin

已于 2022-09-19 10:15:23 修改

阅读量260

点赞数

分类专栏： python笔记文章标签： python 爬虫开发语言

于 2022-09-18 22:36:34 首次发布

本文链接：https://blog.csdn.net/qq_41121485/article/details/126924396

版权

python笔记专栏收录该内容

12 篇文章 0 订阅

订阅专栏

基础爬虫

例子：**百科网络爬虫词条以及相关词条的标题，摘要和链接等信息。

基础爬虫框架及运行流程

基础爬虫框架主要包括五大模块：爬虫调度器，URL管理器，HTML下载器，HTML解析器，数据存储器。

在这里插入图片描述

爬虫调度器：

    负责统筹其他四个模块的协调工作。

URL管理器：

    负责管理URL链接，维护已经爬取的URL集合和未爬取的URL集合，提供获取新URL链接的接口。

HTML下载器：

    用于从URL管理器中获取未爬取的URL链接并下载HTML网页。

HTML解析器：

    用于从HTML下载器中获取已经下载的HTML网页，并从中解析出新的URL链接交给URL管理器，解析出有效数据交给数据存储器。

数据存储器：

    用于将HTML解析器解析出来的数据通过文件或者数据库的形式存储起来。

爬虫框架的动态运行流程：

在这里插入图片描述

代码

URL管理器

主要包括两个变量，一个是已爬取URL的集合，另一个是未爬取的URL集合。
采用Python中的set类型，因为set有去重功能，防止链接重复爬取。
链接去重是爬虫开发中必备的功能，解决方案有三种：1.内存去重  2.关系数据库去重  3。缓存数据库去重。根据爬取数据量来选取。
URL管理器除了具有两个URL集合，还需要提供以下接口，用于配合其他模块使用。
接口如下：
    判断是否有待取的URL,方法定义为has_new_url()
    添加新的URL到未爬取集合中，方法定义未 add_new_url(url), add_new_urls(urls)
    获取一个未爬取的URL,方法定义为get_name_url()
    获取未爬取URL集合的大写，方法定义为new_url_size()
    获取已经爬取的URL集合的大写，方法定义为old_url_size()

class UrlManager(object):
    def __init__(self):
        # 未爬取URL集合 已爬取URl集合。
        self.new_urls = set()
        self.old_urls = set()

    def has_new_url(self):
        """
        判断是否有未爬取的URL
        :return:
        """
        return self.new_url_size() != 0

    def get_new_url(self):
        """
        获取一个未爬取的URL
        :return:
        """
        new_url = self.new_urls.pop()
        self.old_urls.add(new_url)
        return new_url

    def add_new_url(self, url):
        """
        将新的URL添加到未爬取的URL集合中
        :param url: 单个URL
        :return:
        """
        if url is None:
            return
        if url not in self.new_urls and url not in self.old_urls:
            self.new_urls.add(url)

    def add_new_urls(self, urls):
        """
        将新的URL集合添加到未爬取的URL集合中
        :urls: url集合
        :return: u
        """
        if urls is None or len(urls) == 0:
            return
        for url in urls:
            self.add_new_url(url)

    def new_url_size(self):
        """
        获取未爬取URL集合的大小
        :return:
        """
        return len(self.new_urls)

    def old_url_size(self):
        """
        获取已经爬取URL集合的大小
        :return:
        """
        return len(self.new_urls)

HTML下载器

用来下载网页，这时候需要注意网页的编码。以保证下载的网页没有乱码。
下载器需要用到requests模块，里面只需要实现一个接口即可：download(url)。

import requests


class HtmlDownloader(object):
    def download(self, url):
        if url is None:
            return None
        user_agent = "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/105.0.0.0 Safari/537.36 Edg/105.0.1343.42"
        headers = {'User-Agent': user_agent}
        r = requests.get(url, headers=headers)
        if r.status_code == 200:
            r.encoding = 'utf-8'
            return r.text
        return None

HTML解析器

使用BeautifulSoup4进行HTML解析。需要解析的部分主要分为提取相关词条页面的URL和提取当前词条的标题和摘要信息。
可以通过控制台找出百度百科的标题标记位于 <dd class="lemmaWgt_lemmaTitle-title"> ...
摘要文本位于 <div class="lemma-summary">....
抽取URL的格式。相关词条的URl格式类似于<a href='/xx/yy'> 提取出的href是一个相对网址，可以使用函数拼接一下。

import re
from urllib import parse
from bs4 import BeautifulSoup


class HtmlParser(object):
    def parser(self, page_url, html_cont):
        """
        用于解析网络内容，抽取URL和数据
        :param page_url: 下载页面的URL
        :param html_cont: 下载页面的内容
        :return: 返回URL和数据
        """
        if page_url is None or html_cont is None:
            return
        soup = BeautifulSoup(html_cont, 'html.parser')
        new_urls = self._get_new_urls(page_url, soup)
        new_data = self._get_new_data(page_url, soup)
        return new_urls, new_data

    def _get_new_urls(self, page_url, soup):
        """
        抽取新的URL集合
        :param page_url: 下载页面的URL
        :param soup: soup
        :return: 返回新的URL集合
        """
        new_urls = set()
        # 抽取符合要求的a标记
        links = soup.find_all('a', href=re.compile(r'/item/%E7%A8%8B%E5%BA%8F/\d+'))
        for link in links:
            # 提取href属性
            new_url = link['href']
            # 凭借成完整的网址
            new_full_url = parse.urljoin(page_url, new_url)
            new_urls.add(new_full_url)
        return new_urls

    def _get_new_data(self, page_url, soup):
        """
        抽取有效数据
        :param page_url: 下载页面的URl
        :param soup: soup
        :return: 返回有效数据
        """
        data = {}
        data['url'] = page_url
        title = soup.find('dd', class_='lemmaWgt-lemmaTitle-title').find('h1')
        data['title'] = title.get_text()
        summary = soup.find('div', class_='lemma-summary')
        # 获取tag中包含的所有文本内容，包括子孙tag中的内容.
        data['summary'] = summary.get_text()
        return data

数据存储器

主要包括两个方法，store_data(data)用于将解析出来的数据存储到内容中，output_html()用于将存储的数据输出为指定的文件格式，我们使用的是将数据输出为HTMl格式

import codecs


class DataOutput(object):
    def __init__(self):
        self.datas = []

    def store_data(self, data):
        if data is None:
            return
        self.datas.append(data)

    def output_html(self):
        fout = codecs.open('baike.html', 'w', encoding='utf-8')
        fout.write('<html>')
        fout.write('<head>')
        fout.write('<meta charset="UTF-8">')
        fout.write('</head>')

        fout.write('<body>')
        fout.write('<table>')
        for data in self.datas:
            fout.write('<tr>')
            fout.write('<td>%s</td>' % data["url"])
            fout.write('<td>%s</td>' % data["title"])
            fout.write('<td>%s</td>' % data["summary"])
            fout.write('</tr>')
            self.datas.remove(data)
        fout.write('</table>')
        fout.write('</body>')
        fout.write('</html>')
        fout.close()

这并不是一个很好的方式，可以将数据分批存储到文件，而不是所有数据存储到内存。

爬虫调度器

爬虫调度器首先就是初始化模块，然后通过craw(root_url)方法传入URL.方法内部实现按照运行流程控制各个模块。

from 基础爬虫.URLManager import UrlManager
from 基础爬虫.DataOutput import DataOutput
from 基础爬虫.HtmlParser import HtmlParser
from 基础爬虫.HtmlDownloader import HtmlDownloader


class SpiderMan(object):
    def __init__(self):
        self.manager = UrlManager()
        self.downloader = HtmlDownloader()
        self.parser = HtmlParser()
        self.output = DataOutput()

    def crawl(self, root_url):
        # 添加入口URL
        self.manager.add_new_url(root_url)
        # 判断url管理器是否有新的URL，同时判断抓取多少个URL
        while self.manager.has_new_url() and self.manager.old_url_size() < 100:
            try:
                # 从URL管理器获取新的URL
                new_url = self.manager.get_new_url()
                # HTML下载器下载网页
                html = self.downloader.download(new_url)
                # HTML解析器抽取网页数据
                new_urls, data = self.parser.parser(new_url, html)
                # 将抽取到的URL添加到URL管理器中
                self.manager.add_new_urls(new_urls)
                # 数据存储器存储文件
                self.output.store_data(data)
                print('已经抓取%s个；个链接'% self.manager.old_url_size())
            except Exception as e:
                print('crawl failed')
        self.output.output_html()


if __name__ == "__main__":
    spider_man = SpiderMan()
    spider_man.crawl(url)