【python爬虫】利用selenium获取百度搜索结果及标红的相关关键字

最新推荐文章于 2024-07-29 21:31:04 发布

谁是momo子

最新推荐文章于 2024-07-29 21:31:04 发布

阅读量4k

点赞数

分类专栏：爬虫文章标签： selenium 爬虫百度搜索 beautifulsoup4

本文链接：https://blog.csdn.net/manmanxiaowugun/article/details/89646135

版权

本文介绍了如何配置selenium环境，包括安装chromedriver、selenium和beautifulsoup4。针对可能出现的环境问题，如chromedriver路径、版本不匹配等，提供了解决方案。接着，文章展示了获取百度搜索结果并标红相关关键字的代码实现，参考了多个技术博客的教程。

摘要由CSDN通过智能技术生成

一、环境搭建

1. 安装chromedriver

brew cask install chromedriver

2. 安装selenium

pip3 install selenium

3. 安装beautifulsoup4

pip3 install beautifulsoup4

4. 用以下代码测试

from selenium import webdriver 

driver = webdriver.Chrome() # 这里调用chrome浏览器 

driver.get('https://www.baidu.com')  

print(driver.title)

driver.quit()

5. 若报错

raise WebDriverException("Can not connect to the Service %s" % self.path) selenium.common.exceptions.WebDriverException: Message: Can not connect to the Service /usr/local/bin/chromedriver

则有两种解决方法：

a）确保你的chromedriver在你的环境变量目录下

我的存放目录：/usr/local/bin/chromedriver

检查方式：terminal中输入which chromedriver

b）在缺失127.0.0.1 localhost的情况下，会