服务器端爬虫运行环境的搭建（2）

最新推荐文章于 2024-04-10 15:16:48 发布

九镑十五便士

最新推荐文章于 2024-04-10 15:16:48 发布

阅读量188

点赞数

本文链接：https://blog.csdn.net/weixin_43688211/article/details/118878327

版权

使用selenium的爬虫运行框架的搭建

第一步自然是在我们的Python环境里

pip install selenium

接着需要在服务器端安装chrome浏览器，以及在项目文件夹中添加对应版本的chromedriver。这一步也有很多坑，比如需要安装对应的版本，chromedriver是有linux和windows不同版本，开发环境是windows的同学提供的chromedriver就不可用了。

最后，需要注意的是，在编写selenium配置的时候需要加上以下的语句。

hrome_options = webdriver.ChromeOptions()
chrome_options.add_argument('--headless')
chrome_options.add_argument('--disable-gpu')
chrome_options.add_argument('--no-sandbox') # 这里省略的话程序就不能运行
client = webdriver.Chrome(chrome_options=chrome_options, executable_path='/home/chromedriver')    # 如果没有把chromedriver加入到PATH中，就需要指明路径