按条件爬取百度百科词条及其相关词条的ID

最新推荐文章于 2021-08-15 10:12:54 发布

chenpenghuan

最新推荐文章于 2021-08-15 10:12:54 发布

阅读量1.5k

点赞数

分类专栏：爬虫工具文章标签： python

本文链接：https://blog.csdn.net/chenpenghuan/article/details/61916600

版权

该博客介绍了如何使用Python爬虫按条件从百度百科抓取词条信息，包括更换请求头避免屏蔽，通过CSS选择器排除特定内容，设定搜索深度限制相关度，利用缓存避免重复搜索和记录，以及设置必须包含的关键字过滤。

摘要由CSDN通过智能技术生成

1.使用多个头信息轮替访问百度百科，防止被屏蔽
2.使用css选择器过滤掉含有指定内容的词条
3.指定递归搜索深度，以控制词条相关度
4.缓存搜索过的词条，不再进行重复搜索
5.缓存符合要求的已经记录的词条ID，不再重复记录
6.指定网页中必须包含哪些关键字中的一个

#!/usr/bin/env python3
import urllib.request
from bs4 import BeautifulSoup
from time import sleep
import re
from json import loads
from random import randint
from urllib import parse
from os.path import exists, isfile
import socket
from fake_useragent import UserAgent


def getlist(word='食品安全', nowDeep=0):
    '''主程序，word为搜索关键字,nowDeep为搜索深度'''
    global wordsUsed
    global existsWords
    global deep
    if word in wordsUsed:
        print(word + "\t" + '已经搜索过')
        return ''
    if nowDeep > deep:  # 当前搜索深度大于指定最大搜索深度
        return ''
    wordsUsed.append(word)
    wordUsed(word)
    select = '#body_wrapper > div.searchResult > dl dd > a'
    url = 'http://baike.baidu.com/search?word=' + \
        parse.quote(word) + '&pn=0&rn=0&enc=utf8&sefr=sebtn'
    z_data = getHtmlText(url)
    soup = BeautifulSoup(z_data, 'l