Python爬虫(入门+进阶)学习笔记 1-8 使用自动化神器Selenium爬取动态网页(案例三:爬取淘宝商品)

本文介绍了如何使用Selenium爬取淘宝网上的动态商品信息。通过Selenium的优点和操作,详细讲解了如何定位元素、发送请求以及模拟点击下一页,最终将数据存储到MongoDB。实战部分包括寻找搜索框、提取商品信息并输出,同时提到了PhantomJS无头浏览器和Pyquery包作为补充资料。
摘要由CSDN通过智能技术生成
    selenium 是一套完整的web应用程序测试系统,包含了测试的录制(selenium IDE),编写及运行(Selenium Remote Control)和测试的并行处理(Selenium Grid)。Selenium的核心Selenium Core基于JsUnit,完全由JavaScript编写,因此可以用于任何支持JavaScript的浏览器上。
    selenium可以模拟真实浏览器,自动化测试工具,支持多种浏览器,爬虫中主要用来解决JavaScript渲染问题。

安装:
pip install selenium

    下载chromedriver时,chromedriver官网打不开的话,可以去淘宝镜像,地址:http://npm.taobao.org/mirrors,使用最新的chromedriver可以避免一些未知错误(我用旧版的就报错了:WebDriverException: unknown error: call function result missing 'value')

from selenium import webdriver
driver = webdriver.Chrome()
driver.get('http://www.baidu.com')

    在 Python 下引用 Selenium 包开发时,报错:WebDriverException: 'chromedriver' executable needs to be in PATH.
安装 selenium 的 python 包之后,还要安装浏览器 driver,下载安装了ChromeDriver后,将其路径添加到/usr/local/bin下,仍然报错,重新添加PATH,也报错。最后解决办法为:
复制 chromedrive 文件到 Google Chrome 程序目录下,

driver = webdriver.Chrome()

    改为:

driver = webdriver.Chrome("/Applications/Google Chrome.app/Contents/MacOS/chromedriver")

    即可正常运行。



Selenium的优缺点

优点:Selenium可以爬取任何网页的任何内容,因为它是通过浏览器访问的方式进行数据的爬取,

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值