爬虫
测试_Rookie
问题不大
展开
-
Python爬虫--动态获取cookies
我们在利用requests库发送请求时常遇到接口加密,cookies,js混淆等等问题。这个时候,推荐简单粗暴的selenium库来实现获取网页信息,就不用为反爬而发愁。(当然有些网站也会对selenium来做一些反爬措施) 1. selenium模拟登陆 1.1 安装 安装命令很简单,在terminal中执行下面这条命令即可。或在pycharm中setting>Project>Interpreter里面下载 pip install selenium 1.2 获取元...原创 2020-07-15 13:02:32 · 5426 阅读 · 1 评论 -
Python爬虫--urllib库
1. url介绍 在Python2中,有urllib和urllib2两个库来实现发送请求的功能,但是在Python3中统一到urllib这个库里面。官方链接:urllib 主要模块: request:最基本的HTTP请求模块,可以模拟像浏览器一样在地址栏输入url地址后发送请求这个过程,只需要给库方法里传入url参数以及其他额外参数即可 parse:用来处理url的模块,可以实现url的拆分、合并、解析等 error:异常处理模块 robotparser:主要用来识别网站上robots.原创 2020-07-08 14:33:50 · 240 阅读 · 0 评论