外链跳转

最新推荐文章于 2024-09-18 09:28:15 发布

Jason__sz

最新推荐文章于 2024-09-18 09:28:15 发布

阅读量846

点赞数

分类专栏：爬虫学习

本文链接：https://blog.csdn.net/Jason__sz/article/details/79145020

版权

本文介绍了如何编写一个爬虫，该爬虫能够在遇到无外链的页面时，随机跳转到一个内链，以此进行连续的链接收集。爬虫的代码实现是解决此类问题的关键。

摘要由CSDN通过智能技术生成

写一个爬虫，实现外链间的随机跳转。

若某页面没有外链，则随机跳转到一个内链，然后继续收集外链。

代码如下：

from urllib.request import urlopen
from urllib.parse import urlparse
from bs4 import BeautifulSoup
import re
import datetime
import random

pages = set()
random.seed(datetime.datetime.now())

def getInternalLinks(bsObj, includeurl):
    includeurl = urlparse(includeurl).scheme+"://"+urlparse(includeurl).netloc
    internalLinks = [] 

    for link in bsObj.findAll("a",href = re.compile("^(/|.*" + includeurl + ")")):
        if link.attrs["href"] is not None:
            if link.attrs["href"] not in internalLinks:
                if(link.attrs["href"].startswith("/")):
                    internalLinks.append(includeurl + link.attrs["href"])
                else:
                    internalLinks.append(link.attrs[