初识爬虫(一)
爬虫
爬虫概念:
爬虫模拟客户端发送请求, 接受响应,按照一定的规则 ,自动抓取互联网程序
原则上 客户端 能做的事情 , 爬虫都可以做
爬虫作用:
数据采集
软件测试
网站投票等
爬虫流程:
获取一个 url 地址
向目标 url 地址发送请求,并获取响应
如果从响应中提取 url 地址,则继续发送请求
获取响应
如果从响应中提取数据,则将数据进行保存
requests模块:
通过使用requests 模拟发送请求
已虚拟环境为例:
pip install requests
查看虚拟环境
原创
2020-11-12 16:44:28 ·
148 阅读 ·
1 评论