爬虫和scrapy爬虫框架
爬虫
网络爬虫(又被称为网页蜘蛛,网络机器人)就是模拟客户端(主要指浏览器)发送网络请求,接收请求响应,一种按照一定的规则,自动地抓取互联网信息的程序。
原则上,只要是客户端(浏览器)能做的事情,爬虫都能够做
爬虫也只能获取客户端(浏览器)所展示出来的数据
爬虫的作用
1.数据采集
抓取微博评论(机器学习舆情监控)
抓取招聘网站的招聘信息(数据分析、挖掘)
新浪滚动新闻
百度新闻网站
2.软件测试
爬虫之自动化测试
虫师
3 12306抢票
4.网站上的投票
投票网
爬虫的分类
1.根据被爬取网站的数量不
原创
2021-09-27 10:49:22 ·
311 阅读 ·
0 评论