【爬虫】Selenium和chromedriver的安装使用

很久没有用过selenium爬过数据了,晚上想爬个东西,selenium各种报错,解决了问题后决定再写个安装使用的教程,以备将来出了问题能尽快解决。


selenium、chromedriver的安装
    1.pip install selenium  
    2.查看谷歌浏览器版本:chrome://version/
    3.下载对应的chromedriver :http://npm.taobao.org/mirrors/chromedriver/
    4.解压chromedriver到两个地方 :
        A: C:\Program Files\Google\Chrome\Application [谷歌浏览器的安装目录,每个人的不一定相同]
        B: python.exe的同级目录

    5.测试:
        from selenium import webdriver

            driver = webdriver.Chrome()
            driver.get("https://www.baidu.com")
            print(driver.page_source)
            driver.close()
    
      
    

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
您好!对于亚马逊爬虫使用Selenium是一个常见的选择。Selenium是一个自动化测试工具,可以模拟用户在网页上的操作。通过Selenium,您可以实现打开亚马逊网页、搜索商品、获取商品信息等操作。 如果您想使用Selenium爬取亚马逊网页,首先需要安装Selenium库并配置相应的浏览器驱动。您可以使用以下步骤来进行操作: 1. 安装Selenium库:在命令行中运行`pip install selenium`来安装Selenium库。 2. 下载浏览器驱动:Selenium需要与特定的浏览器驱动配合使用,您需要根据您所使用的浏览器下载对应的驱动。例如,如果您使用的是Chrome浏览器,可以从Chrome Driver官方网站(https://sites.google.com/a/chromium.org/chromedriver/)下载适用于您的Chrome浏览器版本的驱动。 3. 配置浏览器驱动:将下载的驱动解压缩后,将驱动所在的路径添加到系统环境变量中,或者在代码中指定驱动的路径。 4. 编写爬虫代码:使用Selenium的API来编写爬虫代码。例如,您可以使用`webdriver.Chrome()`创建一个Chrome浏览器对象,然后使用该对象模拟用户在亚马逊网页上的操作,如搜索商品、点击链接、获取页面内容等。 需要注意的是,使用Selenium进行爬虫操作时,应该遵守网站的使用条款和服务协议,确保合法合规地进行爬取。此外,为了减少对服务器的负载并保护您的爬虫不被检测到,您可以设置适当的请求间隔、使用随机User-Agent等策略。 希望以上信息对您有帮助!如果还有其他问题,请随时提问。
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值