python网络爬虫-通过互联网采集

     在你写爬虫随意跟随外链跳转之前，请问自己几个问题：

    （1）我们要收集哪些数据？这些数据可以通过采集几个已经确定的网站（永远是最简单的做法）完成吗？或者我的爬虫需要发现那些我可能不知道的网站。

     （2）当我的爬虫到了某个网站，它是立即顺着下一个出站链接跳到一个新网站，还是在网站上呆一会，深入采集网站的内容?

      （3）如果我的网络爬虫引起了某个网站网管的怀疑，我如何避免法律责任？

     几个灵活的Python函数组合起来就可以实现不同类型的网络爬虫。用不超过50行代码就可以轻松写出来：

from urllib.request import urlopen
from bs4 import BeautifulSoup
import re
import datetime
import random
pages=set()
random.seed(datetime.datetime.now())

#获取页面所有内链的列表
def getInternalLinks(bsObj,includeUrl):
    internalLinks=[]
    #找出所有以“/”开头的链接
    for link in bsObj.findAll("a",href=re.compile("^(/|.*"+includeUrl+")")):
        if link.attrs['href'] is not None:
            if link.attrs['href'] not in internalLinks:
                internalLinks.append(link.attrs['href'])
    return internalLinks

#获取页面所有外链的列表
def getExternalLinks(bsObj,excludeUrl):
    externalLinks=[]
    #找出所有以“/”开头的链接
    for link in bsObj.findAll("a",href=re.compile("^(http|www)((?!"+excludeUrl+").)*$")):
        if link.attrs['href'] is not None:
            if link.attrs['href'] not in externalLinks:
                externalLinks.append(link.attrs['href'])
    return externalLinks

def splitAddress(address):
    addressParts=address.replace("http://","").split("/")
    return addressParts

def getRandomExternalLinks(startingPage):
    html=urlopen(startingPage)
    bsObj=BeautifulSoup(html,"html.parser")
    externalLinks=getExternalLinks(bsObj,splitAddress(startingPage)[0])
    if len(externalLinks) == 0:
        internalLinks=getInternalLinks(startingPage)
        return getNextExternalLink(internalLinks[random.randint(0,len(internalLinks)-1)])
    else:
        return externalLinks[random.randint(0,len(externalLinks)-1)]

def followExternalOnly(startingSite):
    extenalLink=getRandomExternalLink("http://oreilly.com")
    print("随机外链是："+externalLink)
    followExternalOnly(externalLink)

followExternalOnly("http://oreilly.com")

     网站首页上并不能保证一直能发现外链，这是为了能够发现外链，就需要一种类似前面案例中使用的采集方法，即递归地深入一个网站直到找到一个外链才停止。下图是从互联网上不同的网站采集外链的程序流程图

     把任务分解为像“获取页面上所有外链“这样的小函数是不错的做法，以后可以方便地修改代码以满足另一个采集任务的需求。例如，如果我们的目标是采集一个网站所有的外链，并且记录每一个外链，我们可以增加下面的函数：

#收集网站上发现的所有外链列表
allExtLinks=set()
allIntLinks=set()
def getAllExternalLinks(siteUrl):
     html=urlopen(siteurl)
     bsObj=BeautifulSoup(html,"html.parser")
     internalLinks=getInternalLinks(bsObj,splitAddress(siteUrl)[0])
      externalLinks=getExternalLinks(bsObj,splitAddress(siteUrl)[0])
      for link in externalLinks:
           allExtLinks.add(link)
           print(link)
      for link in internalLinks:
           if link not in allIntLinks:
                print("即将获取连接的URL是"+link)
                allIntLinks.add(link)
                getExternalLinks(link)

getAllExternalLinks("http://oreilly.com")

    这段程序可以看做两个循环--一个收集内链，一个是收集外链--然后彼此连接起来工作，程序流程图如下：