2021-07-09 python爬取百度百科属性框

最新推荐文章于 2024-09-15 22:31:42 发布

StellaLiu萤窗小语

最新推荐文章于 2024-09-15 22:31:42 发布

阅读量148

点赞数

分类专栏：知识图谱文章标签： python 百度爬虫

本文链接：https://blog.csdn.net/anqi3776/article/details/118755743

版权

知识图谱专栏收录该内容

9 篇文章 1 订阅

订阅专栏

该博客介绍了一个使用Python爬虫从百度百科抓取多个实体属性信息的程序。通过读取关键词列表，对每个关键词发起请求，解析HTML并提取标题、属性名和属性值，最后将数据存储到CSV文件中。程序利用了BeautifulSoup库进行网页解析，并采用了requests库处理HTTP请求。

摘要由CSDN通过智能技术生成

python爬取百度百科属性框

from bs4 import BeautifulSoup
import requests
import csv  #用到的写入csv文件的包
#初始化一个存放待爬取关键词的列表
keywordlist = []
#打开文件
with open('qita.txt','r',encoding = 'UTF-8') as f:
#逐行读取要爬取的实体名
    for keyword in f.readlines():
        keyword = keyword.strip("\n")
        keywordlist.append(keyword)
print(keywordlist)

def getHTMLText(url):
    i = 0
    while i<3: #最大重连次数为3
        try:
        #构造headers，user-agent看上述获取方法
            headers = {
                    'user-agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.87 Safari/537.36'}
            r = requests.get(url,headers=headers,timeout=5)
            r.raise_for_status()
            r.encoding = r.apparent_encoding
            soup = BeautifulSoup(r.text,'html.parser')
            return soup
        except requests.exceptions.RequestException:
            i += 1
    return 0

for keyword in keywordlist:
    url = 'http://baike.baidu.com/search/word?word='+keyword
    objSoup = getHTMLText(url)
#找标题
    title = objSoup.find('h1')
    title = title.get_text()
    title = "".join(title.split())
#找属性名
    attr = objSoup.find_all('dt', class_="basicInfo-item name")
#找属性值
    info = objSoup.find_all('dd', class_="basicInfo-item value")  # 找到所有dd标签，返回一个列表

  attrlist = []
    infolist = []
    titlelist = []
    for i in attr:
        t = i.get_text()
        t = "".join(t.split()) #去除空白符
        attrlist.append(t)
        titlelist.append(title) #重复title
    for j in info:
        n = j.get_text()
        n = "".join(n.split())
        infolist.append(n)
    #文件写入方式为在文件后继续写内容，而不覆盖原有内容，故选择'a'这种打开方式。
    with open('qita.csv','a',newline='')as f:
        writer = csv.writer(f)
        writer.writerows(zip(titlelist,attrlist,infolist))