selenium爬虫

selenium

调取浏览器来访问网站,获取网站的相关信息,除了淘宝、京东这类爬取数据难搞,其他都还好,今天我们看下如何实现这类代码逻辑,

安装库包

// 利用安装pip安装,下面这个是一个浏览器编写Python代码的编辑器,非常好用,不用这个也可以
pip install jupyter

// 打开 jupyter
jupyter notebook 

1、下载selenium模块:
    pip3 install -i https://pypi.tuna.tsinghua.edu.cn/simple selenium
    或者在pycharm中下载
2、安装浏览器驱动
   (1)、Google浏览器驱动:http://npm.taobao.org/mirrors/chromedriver/86.0.4240.22/
        注:淘宝数据来源,不需要翻墙就可以访问,注意自己谷歌浏览器和驱动版本号的问题,把下载好的chromedriver.exe放到python安装路径的scripts目录中即可,
   (2)、firefox浏览器驱动:
      selenium3默认支持的webdriver是Firfox,而Firefox需要安装geckodriver
      下载链接:https://github.com/mozilla/geckodriver/releases

换起浏览器

from selenium import webdriver
import time


google_path = r"C:\Users\Administrator\Downloads\chromedriver_win32-86\chromedriver.exe" 

option = webdriver.ChromeOptions()
option.binary_location = "C:/soft/chrome/ChromeCore/ChromeCore.exe"   # binary_location属性指定Chrome启动文件

option.add_argument('--no-sandbox')
option.add_argument('--disable-dev-shm-usage')
option.add_argument('--headless')
driver = webdriver.Chrome(google_path, chrome_options=option)
driver.get('https://www.baidu.com')
print(driver.title)
time.sleep(15)
driver.quit()

参考博客

Selenium3 + Python3:安装selenium浏览器驱动

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值