Python实现考试网题目答案解析脚本（网络爬虫）

最新推荐文章于 2024-09-03 19:33:40 发布

feelerltt

最新推荐文章于 2024-09-03 19:33:40 发布

阅读量1.3w

点赞数 7

分类专栏： Python

本文链接：https://blog.csdn.net/feelerltt/article/details/79931261

版权

Python 专栏收录该内容

2 篇文章 1 订阅

订阅专栏

前言

用Python写网络爬虫是比较常用的做法，原理是将网页下载下来后，用正则表达式清洗数据，获取目标资源。可以是文字、图片或其他URL。然后分文别类进行储存。本文只作简易的文本提取。

正文

代码是用Python2.7版本撰写，经测试可以通过。运行结果参看下文。

# -*- coding: UTF-8 -*-
import urllib2
import re

def ppkao_getanwser(questionURL) :
    questionPage = urllib2.urlopen(questionURL).read()
    # 解析题目

    questionTypeURL = re.search('以下试题来自：(.*?)<a target="_blank" href="(.*?)" >(.*?)</a>', questionPage, re.S).group(2)
    questionType = re.search('以下试题来自：(.*?)<a target="_blank" href="(.*?)" >(.*?)</a>', questionPage, re.S).group(3)
    questionTypeID = re.search('ViewAnswers\(\'//(.*?)\',\'(\d+)\'', questionPage, re.S).group(2)
    questionModel = re.search('<i class="tx">(.*?)</i>', questionPage, re.S).group(1)
    questionName = re.search('<strong class="(.*?)">(.*?)</strong>', questionPage, re.S).group(2)
    if questionModel == '简答题' :
        questionItems = []
    else :
       questionItems = re.search('</strong>(.*?)</p>', questionPage, re.S).group(1).replace('<p>', '').replace('\t', '').replace('\r\n', '').replace('，<br />', '<br />').split('<br />')
       #questionItems = re.search('</strong>(.*?)</p>', questionPage, re.S).group(1).replace('<p>', '').replace('\t', '').replace('\r\n', '').strip().replace('，<br />', '<br />').split('<br />')

    # 获取答案
    anwserURL = re.search('ViewAnswers\(\'//(.*?)\',', questionPage, re.S).group(1)
    anwserPage =  urllib2.urlopen('https://' + anwserURL).read()
    if questionModel == '简答题' :
        questionAnwser = re.search('<i class="target">试题答案</i>(.*?)<span>(.*?)<p>(.*?)</p>', anwserPage, re.S).group(3).strip()
    else :
        questionAnwser = re.search('<em class="ture-answer">(.*?)</em>', anwserPage, re.S).group(1).strip()
    # 展示
    print '题库：', questionType
    print '题库标识：', questionTypeID
    print '题库链接：', questionTypeURL
    print '题目链接：', questionURL
    print '题型：', questionModel
    print '题目：', questionName
    print '题干：', ','.join(questionItems)
    print '答案链接：', 'https://' + anwserURL
    print '答案：', questionAnwser