起点中文网字体反爬

我记得我上初中的时候就特别爱看小说(因为没有手机,只能看小说)特别是那种10块钱一大本,好几百页的那种,一页一页的撕下来看,在班级里几乎每人手里都有几页小说(很喜欢学习,不看小说的除外)
不说了不说了,都是陈年往事,现在我也大学毕业了,也不怎么看小说了(除非遇见自己很喜欢的那种类型),不得不说小说很让人着迷,那么咱就聊聊小说,
起点中文网应该是最大的小说的网站了吧,看一下上面小说的信息

  1. 爬取的网页
    起点中文网
    在这里插入图片描述
  2. 查看数据
    在这里插入图片描述
  3. 获取加密文件并查看
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    多次请求后得到的字体文件里面的文字和顺序都是一样的 通过分析其中一个可以得出这样一个字典
font_dict = {'one':1,  'nine':9, 'five':5, 'period':'.',  'two':2,  'zero':0,  'four':4, 'eight':8,  'seven':7, 'six':6,  'three':3}

只需要获取cmap里面code(网页数据加密后的代码通过特殊编码得到的)和name的对应关系在和自己构造好的字典做匹配就可以了

上代码

# -*- coding: utf-8 -*-
# __author__ = "maple"
import requests
from lxml import etree
import re
from fontTools.ttLib import TTFont
url = 'https://book.qidian.com/info/1013406185'
headers = {
        'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.149 Safari/537.36',
}
# 替还前的网页
page_text = requests.get(url = url,headers = headers).text

#字体文件链接
font_url = re.findall("src: url\('(.*?)'\) format",page_text)[1]
font_response = requests.get(url = font_url).content

# 字体文件(乱码)
with open('字体文件.woff','wb') as f:
    f.write(font_response)

# 字体文件(看的懂的)
fi = TTFont('字体文件.woff')
fi.saveXML('font.xml')

# 获取字体映射关系
font_map = fi['cmap'].getBestCmap()
font_dict = {'one':1,  'nine':9, 'five':5, 'period':'.',  'two':2,  'zero':0,  'four':4, 'eight':8,  'seven':7, 'six':6,  'three':3}
for key in font_map:
    font_map[key]= font_dict[font_map[key]]
# print(font_map)

#替换后的网页
for key in font_map:
    page_text = page_text.replace('&#'+str(key)+';',str(font_map[key]))

etre = etree.HTML(page_text)
font_nub = etre.xpath('/html//div/div[6]/div[1]/div[2]/p[3]/em[1]/span/text()')[0]
font_1 = etre.xpath('/html//div/div[6]/div[1]/div[2]/p[3]/em[2]/span/text()')[0]
font_2= etre.xpath('/html//div/div[6]/div[1]/div[2]/p[3]/em[3]/span/text()')[0]
print('字数:',font_nub,'总推荐:',font_1,'周推荐:',font_2)
  • 1
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 1
    评论
起点中文网是一个提供在线阅读小说的平台,但其中的VIP章节需要付费才能访问。尝试使用爬虫程序爬取VIP章节时,可能会遇到一些问题。根据引用,在爬取VIP章节时,花费了0.27大洋后发现爬取失败,这说明平台可能采取了一些反爬虫的措施。引用中提到了一种可能的反爬虫手段:服务器会验证用户是否已经付费,并根据结果返回相应的章节信息。如果用户没有付费,则可能只能获取到试读的信息。 要绕过起点中文网的VIP章节爬取限制,一种可行的方法是模拟用户登录并付费。首先,需要模拟发送一个登录请求,获取登录后的cookie等信息。然后,通过付费接口进行模拟付费操作,获取付费后的权限信息。最后,可以通过发送请求获取全部章节内容。但请注意,这种方法涉及模拟用户行为和支付操作,务必遵守平台的规定和法律法规。 另外,需要注意的是,尝试绕过平台的反爬虫措施可能违反平台的使用协议,甚至触犯法律。在进行任何爬取操作前,请务必确认自己的行为是否符合法律和道德的要求,并遵守平台的规定和服务条款。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* *2* *3* [python 爬取起点小说vip章节(失败)](https://blog.csdn.net/weixin_39786141/article/details/110827031)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 100%"] [ .reference_list ]

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

爱笑的光头强

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值