python---爬取豆瓣漫画书

首先是访问网址：使用requests去访问

这里爬取的是豆瓣网上的漫画书

接着解析网址：使用BeautifulSoup

然后在所要爬取的网页中，右键--->检查，就可以查看网页的代码结构

由上面的代码结构可以看出，漫画书的所有信息都包含在id为content的div标签中

这里利用soup.find(）就可以查看整个网页的信息

如果要得到h1的标签

那就在soup.find('div',id='content')后加.h1就可以了

如果想爬取网页的大标题，则在soup.find('div',id='content').h1后加上.text

采集整个页面的信息：在class为subject-list的ul标签中

 查看第一本书的信息

 找到所有的li标签

 采集第一本书的内容,并查看h2的标签

 获取第一本书的书名、评分、评价人数以及作者、译者、出版社、出版日期等其他信息，并存到字典里

 

那么如何提取出(47231人评价)中的47231呢？用正则表达式
正则表达式可以快速提取内容

同理提取价格

 

爬取到的漫画书信息处理过程代码如下：

最后结果存储到数据框中，其结果显示如下（这里查看的是后10行）：

这是我在一门爬虫课程里面的笔记，因为初涉爬虫 ，咱啥也不太懂

只能说听了课程之后，知道了大概的爬虫框架

所以先在这记录下目前学到的一点皮毛，后面深入学习之后再修正