自编写的学习用的pytho轻量化爬虫

最新推荐文章于 2023-01-27 09:43:19 发布

linxinloningg

最新推荐文章于 2023-01-27 09:43:19 发布

阅读量512

点赞数 1

分类专栏： python 文章标签： python 爬虫数据挖掘

本文链接：https://blog.csdn.net/linxinloningg/article/details/121866854

版权

python 专栏收录该内容

7 篇文章 0 订阅

订阅专栏

python轻量化爬虫

请勿拿爬虫去非法获取数据，本项目仅用于学习和交流，仅演示不同目前主流的爬虫爬取数据方式

将会在这里不断更新，简单易懂，小白也能看懂学会

给项目爬虫严格按照以下格式编写：

完整项目地址：
https://github.com/linxinloningg/lightweight_spider.git

class Spider:
    def __init__(self, url):
        self.url = url
        self.headers = {"User-Agent": "Mozilla/5.0 (Windows NT 6.3; Win64; x64; rv:91.0) Gecko/20100101 Firefox/91.0"}
    
    def get_urls(self):
        ...
    
    def parse_url(self):
        ...

    @staticmethod
    def get_content(html):
        ...

    @staticmethod
    def save_content(content):
        ...

    def run(self):
        html = self.parse_url()
        content = self.get_content(html)
        self.save_content(content)