熟悉了爬虫的整个流程:请求——>解析网页获取数据——>存储。
(1)请求:简单的UA伪装,代理IP的使用,编码检测,异常处理,断线重连,模拟登陆,验证码问题。
(2)解析网页获取数据:BeautifulSoup库,re模块,Selenium的简单方法
(3)存储:之后
python笔记--爬虫总结
最新推荐文章于 2023-12-14 17:57:45 发布
熟悉了爬虫的整个流程:请求——>解析网页获取数据——>存储。
(1)请求:简单的UA伪装,代理IP的使用,编码检测,异常处理,断线重连,模拟登陆,验证码问题。
(2)解析网页获取数据:BeautifulSoup库,re模块,Selenium的简单方法
(3)存储:之后