当当网书籍数据爬进数据库
首先我们要考虑到当当网有没有反爬机制,几次后发现是没有的。
一开始我们要考虑我们要爬取的信息是哪些,然后在items.py下面全部写出来。
然后就写爬虫文件
从核心文件开始定位导入items里面的类。(一定不要导入错了)
对应的爬取地址写好就用yield返回。
然后肯定不想只爬取一页的书籍吧,那就一定要加循环了。
仔细观察后发现又100页。所以循环如下:在我们写pipelines文件时候一定要去setting文件里去将pipeline的注释解除,并且还要将类名与之相对应。
pipelines主要是进行后续处理的。 所以大致代码如下:
但是写在一个tx
当当网书籍数据爬进数据库
最新推荐文章于 2024-04-26 03:23:26 发布
![](https://img-home.csdnimg.cn/images/20240711042549.png)