本文记录了作者学习爬虫的过程，通过观察晋江文学城的网页URL规律，使用正则表达式解析HTML获取文章内容，并将其保存到文件中。在实际操作中，遇到了文章内容中换行过多的问题，以及因文章ID缺乏规律性而需要手动收集排行榜文章ID的挑战。
主要目的是为了记录学习爬虫过程。
<code># -*- coding: UTF-8 -*-
import requests
import re
import json
from multiprocessing import Pool
from requests.exceptions import RequestException
import itertools
headers = {'Accept':'*/*',
'Accept-Encoding': 'gzip, deflate',
'Accept-Language': 'zh-CN,zh;q=0.8,zh-TW;q=0.7,zh-HK;q=0.5,en-US;q=0.3,en;q=0.2',
'Connection': 'keep-alive',
'Cookie': 'cna=um0tE7tQllkCAXE21MrqNDM2',
'DNT': 1,
'Host': 'afp.csbew.com',
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64; rv:57.0) Gecko/20100101 Firefox/57.0'}
def get_one_page(url):
response = requests.get(url,params = headers)
response.encoding =
最低0.47元/天 解锁文章
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
