python学习笔记（3）——24小时实时爬取数据并自动处理异常

代码练习：

import requests #引用requests库
import re#引用re库
import time#引用time库

headers={'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/95.0.4638.69 Safari/537.36'}#模拟浏览器访问强求，在谷歌浏览器输入about:version即可获取

url='https://www.baidu.com/s?rtt=1&bsst=1&cl=2&tn=news&rsv_dl=ns_pc&word=%E9%98%BF%E9%87%8C%E5%B7%B4%E5%B7%B4'#将网址赋值给变量url
res=requests.get(url,headers=headers).text #通过requests库的get()函数访问该网址，通过.text获取网页源代码的文本内容
#print(res)  #打印输出获取的网页源代码

#自定义函数,设置网址和代理
def baidu(company):
    url='https://www.baidu.com/s?rtt=1&bsst=1&cl=2&tn=news&ie=utf-8&word='+company
    res=requests.get(url,headers=headers).text
    p_source = '新闻来源：(.*?)"'
    source = re.findall(p_source, res, re.S)
    p_date = '发布于：(.*?)"'
    date = re.findall(p_date, res, re.S)
    p_href = '<h3 class="news-title_1YtI1"><a href="(.*?)"'
    href = re.findall(p_href, res, re.S)
    p_title = '标题：(.*?)"'
    title = re.findall(p_title, res, re.S)
    #自动生成舆情数据报告文本文件
    file1=open('F:\\05pycharm\\20220227学习\\获取7家公司文档.txt','a')#新建txt文件，a为追加模式，w为写模式
    file1.write(company+'数据挖掘completed!'+'\n'+'\n')#用write()函数写入字符串

    for i in range(len(title)):
        file1.write(str(i + 1) + '.' + title[i] + '(' + date[i] + '-' + source[i] + ')'+'\n')
        file1.write(href[i]+'\n')
    file1.write('——————————————————————————————————'+'\n'+'\n')
    file1.close()#关闭文件

while True:#while循环语句使程序会24小时不停地运行
    companys = ['阿里巴巴', '万科', '京东', '恒大','百度','腾讯','碧桂园']
    for i in companys:
        try:#try/except异常处理语句避免程序异常中断
            baidu(i)
            print(i + '百度新闻爬取成功')
        except:
            print(i+'百度新闻爬取失败')
    time.sleep(10800)#for循环执行完一遍会自动休息10800秒，即3小时再执行

运行结果：