爬虫
文章平均质量分 93
FierceALiang
这个作者很懒,什么都没留下…
展开
-
Scrapy框架的架构原理解析
爬虫框架——Scrapy如果你对爬虫的基础知识有了一定了解的话,那么是时候该了解一下爬虫框架了。那么为什么要使用爬虫框架?学习框架的根本是学习一种编程思想,而不应该仅仅局限于是如何使用它。从了解到掌握一种框架,其实是对一种思想理解的过程。框架也给我们的开发带来了极大的方便。许多条条框框都已经是写好了的,并不需要我们重复造轮子,我们只需要根据自己的需求定制自己要实现的功能就好了,大大减少了工作量。参考并学习优秀的框架代码,提升编程代码能力scrapy框架的介绍比较流行的爬虫的框架有scrapy原创 2021-04-04 18:08:23 · 668 阅读 · 0 评论 -
利用requests模块进行数据爬取的基本操作
#需求:爬取搜狗首页的页面源码数据import requests#1.指定urlurl = 'https://www.sogou.com/'#2.发起请求response = requests.get(url=url)#get返回一个响应对象#3.获取响应数据page_text = response.text #获取字符串形式的响应数据print(page_text)#4.持久化存储with open('./sogou.html','w',encoding='utf-8') as fp:原创 2020-06-17 02:55:06 · 2436 阅读 · 0 评论