爬虫
Lytofy-lyf
这个作者很懒,什么都没留下…
展开
-
chromedriver下载地址
chromedriver下载地址需要下载对于版本,可以通过设置查看谷歌版本原创 2021-05-13 15:09:32 · 401 阅读 · 0 评论 -
urllib的使用以及cookies访问、ssl证书忽略,robotparser协议
urllib爬虫包import urllib.parse 解析包#解析中文res = urllib.parse.qoute('你好') #解析成url所能识别的16进制编码res = urlib.parse.urljoin('https://www.xxxx.com/?a=',res) #拼接url不会解析,会去掉url的参数res = urllib.parse.urle...原创 2019-09-15 22:04:52 · 759 阅读 · 0 评论 -
request包的使用和随机生成浏览器信息
随机生成浏览器信息form fake_useragent import UserAgentua = UserAgent()ua.random #随机生成浏览器信息ua.Charom #指定谷歌头requestimport requestsimport requests#POST请求和GET请求并没有严格区分,对于GET请求我们也可以通过POST传递参数#当然它也要del...原创 2019-09-16 22:08:29 · 680 阅读 · 0 评论