pycharm+BeautifulSoup爬取豆瓣获取图书信息

pycharm+BeautifulSoup爬取豆瓣获取图书信息

最近接触了爬虫,但是只是一点皮毛,所以做了一个豆瓣小说爬取图书信息的小练习,技术小辣鸡记录一下自己的学习记录。

具体思路

  1. 导入相应的库:
import requests
from bs4 import BeautifulSoup

  1. 设置要爬取的网页和User-Agent
base_url='https://book.douban.com/tag/%E5%B0%8F%E8%AF%B4'
douban_headers={
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.132 Safari/537.36',
}   注:设置 User-Agent 绕过检测,不然可能爬到的是乱码
  1. 将获取的内容写入文件中
def writr_to_file(Book_Name,Book_Rating_num,Book_href,Book_Pub,Book_brief):
    file=open('Book.txt','a',encoding='utf-8')
    file.write("Book_Name:  "+Book_Name+"\nBook_Rating_num:  "+Book_Rating_num+"\nBook_href:  "+Book_href+"\n"+"Book_Pub:  "+Book_Pub+"\n"+"Book_brief:  "+Book_brief+"\n\n")

  1. 获取爬到的网页
def get_page_html(url):
    response=requests.get(url,headers=douban_headers)
    if response.status_code==200:
        return response.text
    else:
        return None
  1. 解析爬取到的网页
def parse_html(html):
    soup = BeautifulSoup(html, 'lxml')       //使用lxml解析方式
    Book_Name=soup.select('.info h2 a')      //使用BeautifulSoup 的CSS选择器获取节点信息
    Book_href=soup.select(".info h2 a[href^='http']")
    Book_Pub=soup.select('.info .pub ')
    Book_Rating_num = soup.select('.info .clearfix .rating_nums')
    Book_brief=soup.select('.info p')
    for i,k,t,j,p in zip(Book_Name,Book_Rating_num,Book_href,Book_Pub,Book_brief):
        print(i['title'],str.strip(k.string),t.attrs['href'],str.strip(j.string),str.strip(p.string))      //因为爬取的是一个页面的数据内容,一个节点有多个属性,所以使用i['title']   ;因为标签之间有多个换行符,所以使用strip() 方法用于移除字符串头尾指定的字符(默认为空格或换行符)或字符序列。该方法只能删除开头或是结尾的字符,不能删除中间部分的字符。
        writr_to_file(i['title'],str.strip(k.string),t.attrs['href'],str.strip(j.string),str.strip(p.string))    //调用函数 ,将内容写入文件中
  1. 调用
if __name__ =='__main__':
    html=get_page_html(base_url)
    parse_html(html)
  1. 运行结果
    在这里插入图片描述

如果想要知道更多的节点内容获取方式可以查看:css选择器参考文档

  • 4
    点赞
  • 0
    评论
  • 5
    收藏
  • 打赏
    打赏
  • 扫一扫,分享海报

参与评论 您还未登录,请先 登录 后发表或查看评论
©️2022 CSDN 皮肤主题:大白 设计师:CSDN官方博客 返回首页

打赏作者

s1ngle_T

你的鼓励将是我创作的最大动力

¥2 ¥4 ¥6 ¥10 ¥20
输入1-500的整数
余额支付 (余额:-- )
扫码支付
扫码支付:¥2
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值