2024年最全第103篇Python：Python爬虫系列之书籍爬取，细节拉满_书籍爬虫

import requests
from lxml import etree
#资源地址
url = ’ 地址’
#请求头
headers = {
‘User-Agent’: ‘Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/99.0.4844.82 Safari/537.36’
}
#页面响应
response = requests.get(url=url,headers=headers)
#数据转换
data = etree.HTML(response.text)

​ 接下来通过页面解析拿到所有的书：


![在这里插入图片描述](https://img-blog.csdnimg.cn/aaaccfe275cd4dd599246988b8297a68.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA5LqU5YyF6L6j5p2h77yB,size_20,color_FFFFFF,t_70,g_se,x_16#pic_center)

#获取到排行榜所有书
book_info_list = data.xpath(‘//div[@class=“item”]’)

进入模块可以发现所有书的详情页面都是放在该路径下:


![在这里插入图片描述](https://img-blog.csdnimg.cn/c8d4466f96b04a93bdd4be5d70f756f5.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA5LqU5YyF6L6j5p2h77yB,size_20,color_FFFFFF,t_70,g_se,x_16#pic_center)


那么我们可以筛选，拿到path进行拼接:

for book_info in book_info_list:
#拿到path
page_id = book_info.xpath(‘div[@class=“image”]/a/@href’)[0]
#拼接到主域名下
url = url[0:19] + page_id

在详情页面看到有个下载链接，这样可以省了很大的功夫，通过页面来分析:


![在这里插入图片描述](https://img-blog.csdnimg.cn/f695b7ea175e413697bd12e4d0251010.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA5LqU5YyF6L6j5p2h77yB,size_20,color_FFFFFF,t_70,g_se,x_16#pic_center)


可以看到它的下载url，是传了参数跟书名过去的，那么可以获取到该链接并且拼接这样就拿到了下载链接，同时拿到书的名字作为下载备用:

for book_info in book_info_list:
#拿到path
page_id = book_info.xpath(‘div[@class=“image”]/a/@href’)[0]
#拼接到主域名下
url = url[0:19] + page_id

#获取详情页面
response = requests.get(url=url,headers=headers)
info_page = etree.HTML(response.text)
#拿到下载path
download_url = info_page.xpath('//div[@class="readbtn"]/a/@href')[2]
#拼接url
download_url = url[0:19] + download_url
#拿到书名字
book_name = download_url.split('=')[2]

接下来对下载链接发起请求，通过文件I/O写入本地:

boo_txt = requests.get(url=download_url,headers=headers)
with open('book/%s.txt'%book_name,'w',encoding='utf-8') as f:
    f.write(boo_txt.text)

让我们来看看结果:


![在这里插入图片描述](https://img-blog.csdnimg.cn/2d814d44125d4bc5a50033b077cbbb75.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA5LqU5YyF6L6j5p2h77yB,size_20,color_FFFFFF,t_70,g_se,x_16#pic_center)


![在这里插入图片描述](https://img-blog.csdnimg.cn/b37ce9dd690347b099e742b06dc02e04.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA5LqU5YyF6L6j5p2h77yB,size_20,color_FFFFFF,t_70,g_se,x_16#pic_center)


这样就拿到了排行榜的所有书了，非常的方便快捷。


### 一、Python所有方向的学习路线

Python所有方向路线就是把Python常用的技术点做整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。



![](https://img-blog.csdnimg.cn/img_convert/9f49b566129f47b8a67243c1008edf79.png)



### 二、学习软件

工欲善其事必先利其器。学习Python常用的开发软件都在这里了，给大家节省了很多时间。



![](https://img-blog.csdnimg.cn/img_convert/8c4513c1a906b72cbf93031e6781512b.png)



### 三、入门学习视频



我们在看视频学习的时候，不能光动眼动脑不动手，比较科学的学习方法是在理解之后运用它们，这时候练手项目就很适合了。



![](https://img-blog.csdnimg.cn/afc935d834c5452090670f48eda180e0.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA56iL5bqP5aqb56eD56eD,size_20,color_FFFFFF,t_70,g_se,x_16#pic_center)




**网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。**

**[需要这份系统化学习资料的朋友，可以戳这里无偿获取](https://bbs.csdn.net/topics/618317507)**

**一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！**