selenium初始问题的处理

最近在学习selenium的时候遇到了一点点小的问题,其实也算不上问题,就是在使用selenium的时候需要的配置,顺序随缘了。

1、selenium库的下载

  这里我用的就是anaconda,直接在prompt里加进去的,或者用pycharm里自带的对当前环境的导包工具下载,一般看到selenium的同志们这些应该都明白了,就不多说了。

2、浏览器的准备

  这里使用的浏览器是chrome(真香),所以首先你要安装一个chrome浏览器,点击下载,直接按照网站提示进行安装就行。然后,因为要模拟浏览器的动作,所以还需要一个chromedriver,点击下载chromedriver(后面会附带其他浏览器driver的下载地址),这里要注意,下载的driver要和你的浏览器的版本相对应,所以为你们白嫖了一个对应表,如果不知道怎样查看自己的版本号的话,请这样做:1、打开浏览器,打开最右上角的那三个点。2、找到“帮助”->关于goole chrome,查看自己的版本号(我的是70.0.3538.102,所以我下载的就是2.43,当然只要自己的版本对应在相应的范围中就行)。

3、chromedriver的配置

下载完对应的驱动后,要进行环境的配置,步骤大体为:(1)、将下载后的.exe的程序和你的浏览器的主程序放在同一目录下,如图所示

(2)配置环境,将你的驱动所在的路径添加到环境变量里,系统的Path和用户的Path都要配置,如图所示

          <1> 首先点开此电脑(win10)->属性

         <2>高级系统设置->环境变量

    <3>双击Path

     <4>“新建”然后将你程序所在的目录粘贴进去就行了,最后就是应用+确认

这样基本上环境上就配好了,按照常理来说就可以直接运行了。

但是,还有一个问题,在运行的时候,会被chrome检测出来从而无法正常打开网页,所以提供两种方法用来克服这种问题。

4、避开chrome的自动监测

    方法一,在浏览器配置里加个参数,忽略掉这个警告提示语:disable_infobars

from selenium import webdriver

# 加启动配置
option = webdriver.ChromeOptions()
option.add_argument('disable-infobars')

# 打开chrome浏览器
driver = webdriver.Chrome(chrome_options=option)
driver.get("https://www.taobao.com") 

       方法二,启动浏览器并加载浏览器的静默模式,让它在后台运行。用 headless

from selenium import webdriver

# 加启动配置
option = webdriver.ChromeOptions()
option.add_argument('headless')

# 打开chrome浏览器
driver = webdriver.Chrome(chrome_options=option)
driver.get("https://www.taobao.com")

经过以上的操作就可以正常的进行动态网页爬取的第一步了,一直在学习,欢迎大佬补充

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值