爬取杂志所有期刊的文章案例

爬取杂志所有期刊的文章案例

前言：

这次给大家带来一个简单的爬虫案例，就是爬取意林杂志所有期刊的文章。

本案例网址：https://www.yilinzazhi.com/

一、分析网页

可以看出这个网站的网页很规整，而且没有反爬，每一年的期刊日期都是一个链接，点击进去就是该期期刊的所有文章标题，如图：

每一个标题文字就是该文章的内容的链接，点击这个链接就是该标题的文章具体的内容：

现在我们理解了网站的具体构成，下面就说一下大概的思路，通过主页链接提取出每一期的网页链接和每一期的期刊日期，在对每一期的网页链接发送请求，获取到每一期的期刊具体内容的标题和链接，然后在对该标题链接发送请求，获取到该标题文章的具体内容，最后保存文章，保存为每一期的日期号作为一个文件夹，这个文件夹里面是该期的所以文章，一个标题一篇文章。

因为该网站的网页非常规整，所以我就不在这里过多展示分析html网页的过程了，解析可以xpath，也可以css选择器，根据自己的喜好来。

本案例所用到的模块：

# 导入需要的包
import requests
import parsel
import os

二、发送请求，获取响应

    def parse_url(self, url):
        """
        发送请求，获取响应数据的方法
        :param url: self.HOME_URL
        :return:
        """
        response = requests.get(url, headers=self.headers)
        response.encoding = response.apparent_encoding
        if response.status_code == 200:
            return response.text

三、提取主页的期刊号和该期刊的链接

    def get_periodicals(self, html_str):
        """
        提取各期刊刊号和链接的方法
        :param html_str:
        :return:
        """
        html = parsel.Selector(html_str)
        # 提取期刊号列表
        periodicals_title_list = html.css('.booklist tr>.time>a::text').extract()
        # 提取该期刊的链接列表
        periodicals_urls = html.css('.booklist tr>.time>a::attr(href)').extract() 
        periodicals_url_list = [self.HOME_URL + i for i in periodicals_urls]
        return periodicals_title_list, periodicals_url_list

四、提取每期期刊的所以文章标题和该文章的链接

    def get_article_data(self, html_str2, article_url_temp):
        """
        提取期刊文章的所在链接的方法
        :param html_str2:
        :param article_ur_temp:
        :return:
        """
        html = parsel.Selector(html_str2)
        # 提取文章标题列表
        article_titles = html.css('.maglistbox>dl>dd>.maglisttitle>a::text').extract()
        article_title_list = [i.strip() for i in article_titles]
        # 提取该文章所在的链接列表
        article_urls = html.css('.maglistbox>dl>dd>.maglisttitle>a::attr(href)').extract()
        article_url_list = [article_url_temp + i for i in article_urls]
        return article_title_list, article_url_list

五、提取文章的具体内容

    def get_article_infos(self, html_str3):
        """
        提取期刊文章的方法
        :param html_str3:
        :return:
        """
        html = parsel.Selector(html_str3)
        # 提取文章的具体内容
        article_infos = html.css('.blkContainerSblkCon>p::text').extract()
        article_info = "".join([i.strip() for i in article_infos])
        return article_info

六、保存文章

    def save_article(self, periodicals_title, article_title, article_info):
        """
        保存期刊文章的方法
        :param periodicals_title:
        :param article_title:
        :param article_info:
        :return:
        """
        path = f'./期刊文章/{periodicals_title}/'
        os.makedirs(path, exist_ok=True)
        with open(f'{path}{article_title}.txt', 'a', encoding='utf-8') as txtfile:
            txtfile.write(article_info)
            print(f'{path}{article_title}-----保存成功')

七、具体实现思路代码

    def run(self):
        """
        实现主要逻辑思路
        :return:
        """
        # 1.发送请求，获取响应数据
        html_str = self.parse_url(self.HOME_URL)
        # 2.提取各期刊刊号和链接
        periodicals_title_list, periodicals_url_list = self.get_periodicals(html_str)
        for periodicals_title, periodicals_url in zip(periodicals_title_list, periodicals_url_list):
            # 3.构建临时文章地址
            article_url_temp = periodicals_url[:-10]
            # 4.对期刊url地址发送请求，获取响应
            html_str2 = self.parse_url(periodicals_url)
            # 5.提取期刊文章的所在链接
            article_title_list, article_url_list = self.get_article_data(html_str2, article_url_temp)
            for article_title, article_url in zip(article_title_list, article_url_list):
                # 6.对期刊文章链接发送请求，获取响应数据
                html_str3 = self.parse_url(article_url)
                # 7.提取期刊文章内容
                article_info = self.get_article_infos(html_str3)
                # 8.保存期刊文章内容
                self.save_article(periodicals_title, article_title, article_info)

效果展示：