我记得我上初中的时候就特别爱看小说(因为没有手机,只能看小说)特别是那种10块钱一大本,好几百页的那种,一页一页的撕下来看,在班级里几乎每人手里都有几页小说(很喜欢学习,不看小说的除外)
不说了不说了,都是陈年往事,现在我也大学毕业了,也不怎么看小说了(除非遇见自己很喜欢的那种类型),不得不说小说很让人着迷,那么咱就聊聊小说,
起点中文网应该是最大的小说的网站了吧,看一下上面小说的信息
- 爬取的网页
起点中文网
- 查看数据
- 获取加密文件并查看
多次请求后得到的字体文件里面的文字和顺序都是一样的 通过分析其中一个可以得出这样一个字典
font_dict = {'one':1, 'nine':9, 'five':5, 'period':'.', 'two':2, 'zero':0, 'four':4, 'eight':8, 'seven':7, 'six':6, 'three':3}
只需要获取cmap里面code(网页数据加密后的代码通过特殊编码得到的)和name的对应关系在和自己构造好的字典做匹配就可以了
上代码
# -*- coding: utf-8 -*-
# __author__ = "maple"
import requests
from lxml import etree
import re
from fontTools.ttLib import TTFont
url = 'https://book.qidian.com/info/1013406185'
headers = {
'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.149 Safari/537.36',
}
# 替还前的网页
page_text = requests.get(url = url,headers = headers).text
#字体文件链接
font_url = re.findall("src: url\('(.*?)'\) format",page_text)[1]
font_response = requests.get(url = font_url).content
# 字体文件(乱码)
with open('字体文件.woff','wb') as f:
f.write(font_response)
# 字体文件(看的懂的)
fi = TTFont('字体文件.woff')
fi.saveXML('font.xml')
# 获取字体映射关系
font_map = fi['cmap'].getBestCmap()
font_dict = {'one':1, 'nine':9, 'five':5, 'period':'.', 'two':2, 'zero':0, 'four':4, 'eight':8, 'seven':7, 'six':6, 'three':3}
for key in font_map:
font_map[key]= font_dict[font_map[key]]
# print(font_map)
#替换后的网页
for key in font_map:
page_text = page_text.replace('&#'+str(key)+';',str(font_map[key]))
etre = etree.HTML(page_text)
font_nub = etre.xpath('/html//div/div[6]/div[1]/div[2]/p[3]/em[1]/span/text()')[0]
font_1 = etre.xpath('/html//div/div[6]/div[1]/div[2]/p[3]/em[2]/span/text()')[0]
font_2= etre.xpath('/html//div/div[6]/div[1]/div[2]/p[3]/em[3]/span/text()')[0]
print('字数:',font_nub,'总推荐:',font_1,'周推荐:',font_2)