python爬虫 起点月票榜TOP100

目的：学习正则表达式
过程中遇到的问题：
item[1]后面忘记写逗号，导致item[2]执行时语法错误；
RE中引用的字符串中有"|"，被优先识别为“或”，导致抓取的数据存储时另外成为一个集合，用"."替代即可；
python中range函数的用法，range(1,6)={1,2,3,4,5}

具体程序如下：

#起点月票榜TOP100
import requests
import re
import json

def request_qidian(url):
    try:
        response = requests.get(url)
        if response.status_code == 200:
            return response.text
    except requests.RequestException:
        return None


def parse_result(html):
    pattern = re.compile('<div class="book-img-box">.*?>(\d+)<.*?<h4><a href=.*?"qd_C40".*?>(.*?)</a></h4>.*?<p class="author">.*?target="_blank".*?>(.*?)</a><em>.</em><a href=.*?>(.*?)</a>.*?<p class="intro">\r *(.*?)\r.*?</li>',re.S)
    items = re.findall(pattern,html)
    for item in items:
        yield {
            'No.': item[0],
            'name' : item[1],
            'author' : item[2],
            'genre' : item[3],
            'intro' : item[4]
        }


def write_item_to_file(item):
    print('开始写入数据 ====> ' + str(item))
    with open('bookrank.txt', 'a', encoding='UTF-8') as f:
        f.write(json.dumps(item, ensure_ascii=False) + '\n')
        f.close()


def main(page):
    url = 'https://www.qidian.com/rank/yuepiao?page=' + str(page)
    html = request_qidian(url)
    items = parse_result(html) # 解析过滤我们想要的信息
    for item in items:
        write_item_to_file(item)


if __name__ == "__main__":
    for i in range(1,6):
        main(i)