感觉好像蛮久没用更新博客了,这不准备成人高考了嘛,作为中专毕业的我来说,觉得大专证还是会有一点用处滴,所以花了点时间看书,可惜每次看书,看着看着就找周先生聊天去了,哎,不知有没有大佬教下我怎么提高看书的兴趣,鄙人感激不尽…
闲话就说到这里,今天的目标:新笔趣阁,然后我们进入搜索页面:http://www.xbiquge.la/modules/article/waps.php
今天爬点小说,说到看书,我也就在看小说的时候不瞌睡,哈哈。。
单纯的爬小说其实蛮简单的,不过今天咱们给自己增加点难度,使用requests的POST来抓取小说
requests的GET,就是字面意思了,而POST也是字面意思,与GET稍微不一样的是需要携带数据,而数据在哪呢,在网站里面,比如搜索一个本人比较喜欢的小说:间客
右下角的Form Data里面的数据就是我们要携带给requests一起解析的:
import requests
import parsel
import re
def get_url(headers,keyword):
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/85.0.4183.83 Safari/537.36',
}
url = 'http://www.xbiquge.la/modules/article/waps.php'
data = {
'searchkey': keyword,
}
res = requests.post(url,data=data,headers=headers)
res.encoding = 'utf-8'
sreach = parsel.Selector(res.text)
n = 0
href = []
for each in sreach.xpath('//div[@id="content"]/form/table/tr')[1:]:
href.append(each.xpath('./td/a/@href').get()) # 书籍地址
title = each.xpath('./td/a/text()').get() # 书籍名称
author= each.xpath('./td[3]/text()').get() # 作者
n += 1
print(str(n) +": "+ title,author)
if n == 4:
break
if bool(href) == False: # 判断是否有该书籍,如果没有,则返回main继续从头开始
print(f"未找到{keyword},请重新输入!!")
main()
while True:
choice = int(input("请按序号选择你要下载的书籍:"