GreenHand爬虫系列04——爬取医院动态

本次是萌新爬虫的第四弹，鄙人来尝试爬取某医院官网动态。
其中要使用XPath方法——
XPath即为XML路径语言(XML Path Language)，它是一种用来确定XML文档中某部分位置的语言。XPath基于XML的树状结构，提供在数据结构树中找寻节点的能力。起初XPath的提出的初衷是将其作为一个通用的、介于XPointer与XSL间的语法模型。但是XPath很快地被开发者采用来当作小型查询语言。
XPath最大的优点是极其适合下图所示具有完备结构化网页内容的爬取：

官网网址：http://www.xmsdyrmyy.com/list.asp?classid=20&page=1

显而易见，参数page就是页码数。

1.导入模块

import json
import re
import requests
from lxml import etree

2.初始化函数

class Hospital:
    def __init__(self):
        self.start_url="http://www.xmsdyrmyy.com/list.asp?classid=20&page={}"
        self.headers={"User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/94.0.4606.81 Safari/537.36"}

3.构造url列表

可见一共有10页：

且根据前文已知第一页参数page=1

def get_url_list(self):#构造url列表
        url_list=[]
        for i in range(1,10):
            url_list.append(self.start_url.format(i))
        return url_list

4.发送请求，获取响应

def parse_url(self,url):#发送请求，获取响应
        response=requests.get(url,headers=self.headers)
        return response.content.decode()

5.提取数据

接下来才是重中之重——
本人计划将每一条动态按照标题、导语和发布日期进行采集：
标题

导语

发布日期

可以做出判断每一条动态都位于< li >…< / li >内，是不是特别结构化？

它们的上一级ul class为news_list，可以设置总路径为li_list=html.xpath("//ul[@class=‘news_list’]/li")

标题位于a开头的title属性，设置xpath路径为.//a/@title

导语没有属性，它只是文本内容即text()，设置xpath路径为./text()

发布日期位于em开头，设置xpath路径为.//em/text()

def get_content_list(self,html_str):#提取数据
        html=etree.HTML(html_str)
        li_list=html.xpath("//ul[@class='news_list']/li")
        content_list=[]
        for li in li_list:
            item={}
            item["标题"]=li.xpath(".//a/@title")#标题
            item["导语"]=li.xpath("./text()")[1]#导语
            item["发布日期"]=li.xpath(".//em/text()")#发布日期
            item["导语"]=re.sub(r"\r\n                    "," ",item["导语"])#去除多余字符
            content_list.append(item)
        return content_list

6.保存

def save_content(self,content_list,page_num):#保存
        with open("医院动态.txt","a",encoding="utf-8")as f:
            for content in content_list:
                f.write(json.dumps(content,ensure_ascii=False))
                f.write("\n")
        print("Page"+str(page_num)+"保存成功")

7.主要逻辑

def run(self):#实现主要逻辑
        url_list=self.get_url_list()
        for url in url_list:#遍历，发送请求，获取响应
            html_str=self.parse_url(url)
            content_list=self.get_content_list(html_str)#提取数据
            page_num=url_list.index(url)+1#页码数
            self.save_content(content_list,page_num)#保存

8.主函数

if __name__=="__main__":
    hospital=Hospital()
    hospital.run()

9.完整代码

import json
import re
import requests
from lxml import etree

class Hospital:
    def __init__(self):
        self.start_url="http://www.xmsdyrmyy.com/list.asp?classid=20&page={}"
        self.headers={"User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/94.0.4606.81 Safari/537.36"}

    def get_url_list(self):#构造url列表
        url_list=[]
        for i in range(1,10):
            url_list.append(self.start_url.format(i))
        return url_list

    def parse_url(self,url):#发送请求，获取响应
        response=requests.get(url,headers=self.headers)
        return response.content.decode()

    def get_content_list(self,html_str):#提取数据
        html=etree.HTML(html_str)
        li_list=html.xpath("//ul[@class='news_list']/li")
        content_list=[]
        for li in li_list:
            item={}
            item["标题"]=li.xpath(".//a/@title")#标题
            item["导语"]=li.xpath("./text()")[1]#导语
            item["发布日期"]=li.xpath(".//em/text()")#发布日期
            item["导语"]=re.sub(r"\r\n                    "," ",item["导语"])#去除多余字符
            content_list.append(item)
        return content_list

    def save_content(self,content_list,page_num):#保存
        with open("医院动态.txt","a",encoding="utf-8")as f:
            for content in content_list:
                f.write(json.dumps(content,ensure_ascii=False))
                f.write("\n")
        print("Page"+str(page_num)+"保存成功")

    def run(self):#实现主要逻辑
        url_list=self.get_url_list()
        for url in url_list:#遍历，发送请求，获取响应
            html_str=self.parse_url(url)
            content_list=self.get_content_list(html_str)#提取数据
            page_num=url_list.index(url)+1#页码数
            self.save_content(content_list,page_num)#保存

if __name__=="__main__":
    hospital=Hospital()
    hospital.run()

10.部分结果展示

{"标题": ["八十多岁的女儿来找普外二科：一百多岁的老母亲，耳朵上长了个“大核桃”！"], "导语": " 八十多岁的女儿来找普外二科：一百多岁的老母亲，耳朵上长了个“大核桃”！俗话说，“家有一老如有一宝”，孟老太太今年102岁啦，家里子孙满堂，生活幸福安康。可是最近一件事让她很烦心：一年前，老人发现自己的右耳廓上出现了一个约“葡…  ", "发布日期": ["2021-5-13 8:43:46"]}
{"标题": ["【神经外科】出血风险极高，止血困难！有高血压的重症颅脑损伤患者，怎么救治？"], "导语": " 【神经外科】出血风险极高，止血困难！有高血压的重症颅脑损伤患者，怎么救治？58岁的欧阳先生在家时不慎摔伤头部，当即昏迷，家属急送我院救治，急诊查头部CT发现“脑挫裂伤”。以“重症颅脑损伤”入住神经外科病区。科主任丁宝献、副主任…  ", "发布日期": ["2021-5-8 11:59:45"]}
{"标题": ["杏林圣手，顽疾根除——胸心·泌尿外科肾囊肿患者出院后，挥毫泼墨表感谢！"], "导语": " 杏林圣手，顽疾根除——胸心·泌尿外科肾囊肿患者出院后，挥毫泼墨表感谢！前不久，67岁的韩先生因“心慌、胸闷、气喘一月有余”来我院就医。老人于5年前发现有心律不齐，间断服药，在门诊检查后以“冠心病、心房颤动”入住心内二科。为患者…  ", "发布日期": ["2021-5-2 11:55:18"]}