![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
爬虫
文章平均质量分 63
沐沐茶壶
淡然处之意难平之事,生活如此,如此一时乾坤,待犹年又是草木卿。
展开
-
11-爬虫爬取小说
本笔记记录如何使用request进行小说的爬取这次爬取小说运用了cheerio模块,该模块类似于jquery模块,可以直接对元素节点进行操作,方便我们对小说内容的爬取。本次爬取的小说网站是http://www.zongheng.com/,页面如下:这里随意找的一篇小说,找到小说所有目录的页面链接url(这里直接通过F12检查元素就知道小说内容的链接了),链接如下图片所示:具体实现基于上一次爬取图片过程中获取页面的方法,这次同样先获取到页面的链接,以及页面的HTML文档,在通过cheerio原创 2021-07-29 22:42:22 · 218 阅读 · 0 评论 -
10-爬虫爬取图片
本笔记记录如何使用request模块进行图片的爬取node爬虫常用于小型网页的爬取,这里也只是在获取页面HTML文档之上进行页面链接的分析,通过正则匹配到需要内容,进行的图片爬取。爬取有一定的局限性,一个是必须保证爬取的东西链接url必须完整,能够通过request请求到页面或者资源的才能进行内容比较完善的爬取。这里分两个部分进行讲解,一个部分是获取html页面,这个页面是有多张页面的。一个部分是获取单张页面中所有需要的图片。爬取的页面链接是https://pic.netbian.c原创 2021-07-29 22:09:22 · 770 阅读 · 0 评论