四川日报爬虫

四川日报爬虫
要求：爬取四川日报近一年发表的新闻

#导入所需库
import requests
import time
import re
import json
import pandas as pd

可以去看看四川日报连续日期的新闻的链接，都是有规律可循的。
d为爬取的起始日期，每一天下面有n篇新闻，需要迭代num来获取该日期发表的所有新闻。可以通过爬取的状态判断是否爬完。

num=254602
d = '2021-05-15'
dd=20210515
for i in range(30000):
    if num <=263109:
        num+=1
        url='https://epaper.scdaily.cn/shtml/scrb/{}/{}.shtml'.format(dd,num)
        r=requests.get(url=url)
        sta=r.status_code
        if sta==200:
            k=0
            r.encoding=r.apparent_encoding
            r=r.text
            t=etree.HTML(r)
            title=t.xpath('/html/body/section/div[1]/div[2]/ul/li[1]/h1/text()')[0]
            pubdate=t.xpath('/html/body/header/div/ul/li[1]/p[2]/script/text()')[0]
            content=t.xpath('/html/body/section/div[1]/div[2]/ul/li[2]/p[3]/font//text()')
            data.append([title,pubdate,content])
        if sta==404:
            k+=1
            if k==1:
                y = datetime.datetime.strptime(d, '%Y-%m-%d')
                date = y + datetime.timedelta(days = 1)
                a=datetime.datetime.strftime(date, '%Y-%m-%d')
                d=a
                s=a.replace('-','')
                dd=s
                num-=1
            else:
                pass
        print(sta,url)
    else:
        break
最后保存爬取的数据
```python
df=pd.DataFrame(data)
df.to_excel('./四川日报2021新闻.xlsx',encoding='utf-8')