Python——网络数据采集(三)

网络数据采集过程中你应该考虑的两个问题:

  1. 该数据采集器需要消耗的网络流量(越少越好);
  2. 该数据采集器对目标网站服务器的负载(越低越好);

采集网站数据的思路:

  1. 需要通过输入关键字符构建一个初始的网站URL链接;
  2. 通过解析网页遍历所有的链接,使用正则表达式筛选自己需要的链接;
  3. 在返回的链接中随机选择一个链接,再次循环;
    需要注意
  4. 正则表达式构建目标链接需要嵌在BeautifulSoup中的find或findall使用;
  5. 使用random模块生成随机数时,为了保证随机数种子的不同,建议使用计算机中当时的时间。如”random.seed(datetime.datetime.now()) “
    以下是在维基百科中输入china后返回的链接
from urllib.request import urlopen 
from bs4 import BeautifulSoup 
import datetime 
import random 
import re 
 
random.seed(datetime.datetime.now()) 
def getLinks(articleUrl):     
    html = urlopen("http://en.wikipedia.org"+articleUrl)     
    bsObj = BeautifulSoup(html)     
    return bsObj.find("div", {"id":"bodyContent"}).findAll("a",href=re.compile("^(/wiki/)((?!:).)*$")) 
links = getLinks("/wiki/china") 
while len(links) > 0:     
    newArticle = links[random.randint(0, len(links)-1)].attrs["href"]     
    print(newArticle)     
    links = getLinks(newArticle)
展开阅读全文

没有更多推荐了,返回首页