python爬虫-百度百科词条

最新推荐文章于 2024-08-03 12:52:19 发布

SmuEdward

最新推荐文章于 2024-08-03 12:52:19 发布

阅读量1.1k

点赞数

分类专栏： Python 文章标签： python 爬虫 urllib2 bs4

本文链接：https://blog.csdn.net/SmuEdward/article/details/54632641

版权

本文介绍了如何使用Python进行百度百科词条的爬取。爬虫分为四个部分：url管理、HTML下载（urllib2）、HTML解析（BeautifulSoup）和数据输出。源代码已发布在GitHub上。

摘要由CSDN通过智能技术生成

本文旨在研究使用Python，以一个百科词条地址为根，展开全面爬取百科词条

一个简单的爬虫大概包括以下几个部分

爬虫总控制器（spider_main）
url地址管理，包括url地址的获取和判断等（url_manager）
html下载，使用urllib2完成html下载（html_downloader）
html解析，使用BeautifulSoup完成Html的解析（html_parser）
数据的输出（html_outputer）

源码已经上传github: https://github.com/SmuEdward/python_spider_on_baike

下面附上各个部分的代码

spider_main.py

#coding = utf8
from baike_spider import html_outputer, url_manager, html_downloader, html_parser


class SpiderMain(object):
    def __init__(self):
        self.urls = url_manager.UrlManager()
        self.downloader = html_downloader.HtmlDownloader()
        self.parser = html_parser.HtmlParser()
        self.outputer = html_outputer.HtmlOutputer()


    def craw(self, root_url):
        count = 1
        self.urls.add_new_url(root_url)
        while self.urls.has_new_url():
            try:
                new_url = self.urls.get_new_url()
                print "craw %d : %s" % (count, new_url)
                html_content = self.downloader.download(new_url)
                new_urls, new_data = self.parser.parse(new_url, html_content)
                self.urls.add_new_urls(new_urls)
                self.outputer.collect_data(new_data)

                if count == 100: