收集整个网站的数据

最新推荐文章于 2022-06-02 11:23:52 发布

Jason__sz

最新推荐文章于 2022-06-02 11:23:52 发布

阅读量435

点赞数

分类专栏：爬虫学习文章标签：爬虫

本文链接：https://blog.csdn.net/Jason__sz/article/details/79141036

版权

爬虫学习专栏收录该内容

2 篇文章 0 订阅

订阅专栏

创建一个爬虫从一个页面跳到另一个页面，来收集维基百科的页面标题、正文的第一个段落，以及编辑页面的连接。

代码如下：

from urllib.request import urlopen
from bs4 import BeautifulSoup
import re

pages = set()

def getLinks(pageurl):
    global pages
    html = urlopen("http://en.wikipedia.org"+pageurl)
    bsObj = BeautifulSoup(html.read(),"html.parser")
    try:
        print(bsObj.h1.get_text())
        print(bsObj.find(id = "mw-content-text").findAll("p")[0]) # 标题
        print(bsObj.find(id = "ca-edit").find("span").find("a").attrs["href"]) # 正文
    except AttributeError:
        print("lack of some inf, don't worry")

    for link in bsObj.findAll("a", href = re.compile("^(/wiki/)")):
        if "href" in link.attrs:
            if link.attrs["href"] not in pages:
                newPage = link.attrs["href"]
                print("------------\n" + newPage)
                pages.add(newPage)
                getLinks(newPage)

getLinks("")

正文分析：

---<id

---<p 0

---<p 1

---<p 2

.........