爬虫
宅羽
这个作者很懒,什么都没留下…
展开
-
爬虫资料之爬虫流程
◆ 多页面爬虫流程:有的网页存在多页的情况,每页的网页结构都相同或类似,这种类型的网页爬虫流程为:(1)手动翻页并观察各网页的URL 构成特点,构造出所有页面的URL 存入列表中。(2)根据URL 列表依次循环取出URL 。(3)定义爬虫函数。(4)循环调用爬虫函数,存储数据。(5)循环完毕,结束爬虫程序◆ 跨页面爬虫流程:(1)定义爬取函数爬取列表页的所有专题的URL(2)...原创 2019-07-15 20:56:06 · 235 阅读 · 0 评论 -
爬虫资料之三大库
◆ Request库:◆ Lxml库:◆ BeautifulSoup库:原创 2019-07-15 21:00:58 · 214 阅读 · 0 评论