python爬虫Request使用

import requests
import os,re

class GetStaticWeb:
    def __init__(self) -> None:
        self.headers={'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/100.0.4896.127 Safari/537.36 Edg/100.0.1185.50'}
    
    def getHtml(self,url):
        return requests.get(url,headers=self.headers)
    
    def openHtml(self,res,name='out.html'):
        f = open(name, 'w',encoding=res.encoding)
        f.write(res.text)
        # os.startfile(name)

    def analysisHtml(self,res):
        # html解码
        html=res.text.encode(res.encoding).decode('utf-8')
        html=re.sub(r'\r',r'\n',html)

        # 获取小说正文
        chapter=re.search(r'<h1>.*(第.*章.*)<',html).group(1)
        print(f'正在获取 {chapter}')
        content=re.search(r'<div id="content" class="showtxt">[\w\W]*?</div>',html).group()
        content=re.sub(r'(<.*?>)|(&.*?;)','',content)
        content=re.sub(r'\n\n',r'\n',content)
        text=chapter+'\n'+content+'\n'+res.url+'\n\n'

        # 获取下一章链接
        nextUrl='https://www.99mk.com'+re.search(r'href="(.*)">下一章',html).group(1)

        return text,res.url,nextUrl

    def saveTxt(self,text,url,name='踏星.txt'):
        f = open(name, 'r+',encoding='utf-8')
        if not url in f.read():
            f.write(text)
            return True
        return False

    def getStartUrl(self,name='踏星.txt'):
        f = open(name, 'r',encoding='utf-8')
        return f.readlines()[-2]

if __name__=='__main__':
    g=GetStaticWeb()
    nextUrl=g.getStartUrl()
    while 'html' in nextUrl:
        res=g.getHtml(nextUrl)
        # g.openHtml(res)
        text,url,nextUrl=g.analysisHtml(res)
        g.saveTxt(text,url)

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值