编程小栈

写在前面的话这个可能对大多数人没有用，因为Python 2.7 在2021年就不维护了，如果直接是Python 3.0 的话就不会有这么多问题了。不过我之前大部分代码都是2.7写的所以现在也要把这个问题解决了。不正经的正文一般情况下，如果你是Python 3.0 的话，其实安装scrapy 用pip install scrapy 也可以。但是如果缺少一些依赖库的话可能也会报错。所以我在这里推荐conda, 他已经封装好了很多的依赖库。直接使用conda 的话针对python 3.0 和2.0 都同样

出现问题如下：Selenium message:session not created: This version of ChromeDriver only supports Chrome version 74 (Driver info: chromedriver=74.0.3729.6 (255758eccf3d244491b8a1317aa76e1ce10d57e9-refs/b...

出现如上错误，一些解决方案：chrome_options.add_argument('--headless')或者是：chrome_options.add_argument('--no-sandbox')Reference1. https://github.com/timgrossmann/instagram-profilecrawl/issues/12...

selenium 是一个自动化的web 浏览器的测试工具，我们可以用selenium 来模拟人对浏览器（browser）的操作，我们也可以使用这个工具来做爬虫。具体的情况可以参考相关的官网： https://selenium.dev我用python 来做开发，因此这里我们下载相关的文件，用这个网站 https://selenium.dev/downloads/安装Selenium安装 se...

写在前面的话我们的描述，运用都是基于Ubuntu 的运行环境Chrome : Version 77.0.3865.90 (Official Build) (64-bit)OS : Ubuntu 18.04python : 2.7, 3.4+selenium : 3.141.0 场景描述当我们用Selenium 爬虫来下载文件的时候，这个时候需要对Chrome 进行一些额外的设置...