爬虫知识点
本专栏是作者在学习和实践爬虫过程中遇到的问题进行的总结,希望能给其他的小伙伴们提供参考。
权权coder
这个作者很懒,什么都没留下…
展开
-
URL地址中的%2F、%3F、%3D、%3A是什么意思
我们见到的正常的url地址应该是长这个样子的,https://www.baidu.com。但是也有一些url地址经过编码了,如长成这样的https%3A%2F%2Fdocument-cdn.yxtxcsq.com%2Fdoc%2Fpdf%2F03%2F000010%2F001636%2F2020%2F03%2F21%2F9e6ddc29c6028b34cd57126f8d1d0c78.pdf%3Fsign%3D6f8799f678c86acb7b5b6802e345c0d5%26t%3D1650180644原创 2022-04-17 16:18:31 · 40052 阅读 · 3 评论 -
安装Fiddler证书到夜神模拟器系统证书中
安装Fiddler证书到夜神模拟器系统证书中本文大部分内容为参考其他作者总结而成。主要参考如下:1、作者:一碗单炒饭https://blog.csdn.net/Aacheng123/article/details/1200042262、作者:Acheng1011https://blog.csdn.net/djzhao627/article/details/102812783一、为什么要把Fiddler证书安装到系统证书中android分为系统证书和用户证书两种,通过打开浏览器下载的fiddle原创 2021-10-03 13:33:32 · 18461 阅读 · 8 评论 -
爬虫小知识点:多线程下os.makedirs的使用
在需要使用爬虫进行下载图片或者文件的情况下,我们通常会将图片或文件按照目录分类存放,就会使用os.makedirs创建目录。path = './一级目录/二级目录'if not os.path.exists(path): os.makedirs(path)在单线程情况下,会正常判断目录是否存在,如果不存在则创建目录,目录存在时则不会创建。但是在多线程下,这样写就容易出错,原因就是并发太多,存在两个线程同时创建目录的情况。那么如何解决呢?os.makedirs(path, exist_ok=Tru原创 2022-04-14 17:41:47 · 1026 阅读 · 0 评论 -
解决selenium被网站识别
driver.execute_cdp_cmd("Page.addScriptToEvaluateOnNewDocument",{"source":"""Object.defineProperty(navigator,"webdriver",{get:() => false,})"""})原创 2021-11-09 10:14:44 · 8119 阅读 · 0 评论 -
修改网页视频播放速度
修改网页视频播放速度在网页开发者工具console里输入document.querySelector(‘video’).defaultPlaybackRate = 2.0;原创 2021-10-18 21:42:32 · 2381 阅读 · 0 评论