1.7 爬取汽车之家实战

最新推荐文章于 2024-07-01 23:13:55 发布

最小森林

最新推荐文章于 2024-07-01 23:13:55 发布

阅读量8.3k

点赞数 5

分类专栏： Python爬虫文章标签： url 爬虫汽车之家 urllib bs4

本文链接：https://blog.csdn.net/u012052268/article/details/71104428

版权

本文介绍了如何使用Python爬虫框架爬取汽车之家网站上的车型名称及用户评分。首先，通过url管理器存储待爬取和已爬取的URL，接着使用网页下载器下载HTML代码，解决乱码问题。然后，网页解析器解析HTML，提取车名和评分，并找出其他车型的链接。最后，将获取的信息保存到文件中，方便查看。

摘要由CSDN通过智能技术生成

1.7 爬取汽车之家实战

7 爬取汽车之家实战

1. 任务简介及爬虫架构极

前面学习了，爬虫的基本架构。现在要动手实践了，因为师兄说“学一门语言就必须上手去练习！”。

爬取哪个网站呢？正好，最近需要汽车之家上面的数据，我就爬这个。本文代码全部共享于GitHub上，地址：爬取汽车之家实战：github

目标：爬取100种汽车的名字，以及网友对它的评分。

下面开始编程：

在pychram中创建一个工程
在工程中新建一个python包
新建一个main类
创建各个功能类：url管理器、网页下载器、网页解析器、保存获取的信息

下面贴上main类的代码（有详细注释）：

# 加载url管理器、下载器、解析器、输出器
from autohome_spider import url_manager, html_downloader, html_parser, html_outputer


class SpiderMain(object):
    # 初始化各个对象
    def __init__(self):
        self.urls = url_manager.UrlManager()
        self.downloader = html_downloader.HtmlDownloader()
        self.parser = html_parser.HtmlParser()
        self.outputer = html_outputer.HtmlOutputer()

    def craw(self, root_url):
        # 记录当前爬取的是第几个url
        count = 1
        # 将入口url添加进url管理器，这样url管理器就有了待爬取的url,我们就可以启动爬虫的循环
        self.urls.add_new_url(root_url)
        # 当url管理器有新的url时，启动循环
        while self.urls.has_new_url():
            try:
                # 获取待爬取的url
                new_url = self.urls.get_new_url()
                # 实时打印爬取数和爬取url
                print('craw %s : %s' % (count, new_url))
                # 下载器下载页面
                html_cont = self.downloader.download(new_url)
                # print(html_cont)

                # 解析器解析url和页面，得到新的url和数据(返回两个值)
                new_urls, new_data = self.parser.parse(new_url, html_cont)

                # 获得的新的url添加进url管理器
                self.urls.add_new_urls(new_urls)
                # 收集数据
                self.outputer.collect_data(new_data)

                # 设置爬取数
                if count == 100:
                    break

                count = count + 1
            except Exception as e:
                print(str(e))

        # 输出收集好的数据
        self.outputer.output_html()

if __name__ == '__main__':
    # 爬虫入口url
    root_url = 'http://www.autohome.com.cn/78/#pvareaid=103177'
    obj_spider = SpiderMain()
    obj_spider.craw(root_url)