在macbook pro下如何使用selenium模拟浏览器爬取数据(包含webdriver放到path路径下的方法)

本文介绍了在Macbook Pro上配置和使用Selenium与ChromeDriver进行网页爬取的详细步骤,包括如何正确放置ChromeDriver到PATH路径下,并提供了具体的Python代码示例,展示了如何定位和填充搜索框,以及循环抓取多页数据。
摘要由CSDN通过智能技术生成

最开始试了好多方法把webdriver放到path路径下但是都有问题,找不到他们所说的什么:/user/bin。真的不知道他们是怎么弄的。所以,找了好多方法。最后自己将路径获取就行了:


path = "chromedriver的路径"
driver = webdriver.Chrome(path)

 

ps:  如何获取chromedriver的路径:下载chromedriver后在finder中打开,在将文件拖到终端,就可出现路径,然后直接复制路径,替换到     chromedriver的路径     这几个字的位子就可以了。

下面是我爬取“去哪儿”的代码:

from selenium import webdriver
#实现等待需要用到下面 3 个库,By 库用于指定 HTML 文件中 DOM 标签元素(添加和删除节点(HTML 元素)), 
#WebDriverWait 库用于等待网页加载完成,
#expected_conditions 库(下面用 as EC 给这个库 起了个简称)用于指定等待网页加载结束的条件。
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

dep = '上海'
query='丽江'
path = "/Users

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值