从零开始学 python爬虫系列: Selenium:只需1句代码,2个动作,8个属性,你就掌握了最基础的方法

本文是Selenium Python爬虫系列的一部分,重点讲解如何安装Selenium和WebDriver,通过8种方式查找HTML元素,包括Id、Name、XPath等。还介绍了简单的调试和元素操作,如点击和输入。
摘要由CSDN通过智能技术生成

Selenium用的好不好,主要看你html源码读的好不好

1句代码:selenium最基础的查找网页元素的功能find_element_by_*

2个动作:在找到元素之后,可以选择点击或者输入 find_element_by*.click()或者find_element_by_*.send_keys('你需要输入的内容')

8个属性,你只需要html中的id,name, xpath,hyperlink,tag,class,css是什么就可以了。

  • find_element_by_id
  • find_element_by_name
  • find_element_by_xpath
  • find_element_by_link_text
  • find_element_by_partial_link_text
  • find_element_by_tag_name
  • find_element_by_class_name
  • find_element_by_css_selector

话不多说,我们开始。

1.从头开始安装

     1. Selenium安装

 pip install selenium

       通过代码知道是否安装好

from selenium import webdriver

     2.Webdriver安装

        1.下载webdriver:在浏览器中输入chrome://version/检查版本.你的webdriver的版本应该和你的浏览器版本保持一致

Webdriver下载路径:http://chromedriver.storage.googleapis.com/index.html,驱动Chrome;

geckodriver下载路径:https://github.com/mozilla/geckodriver/releases,驱动Firefox;

        2.下载下来的webdriver需要放到python.exe路径中

如果你不知道python.exe的路径?你的Win10可以直接搜索python.exe,右键点击打开所在文件夹,再把Webdriver移动到相同文件夹

2.简单调试

import time
driver = webdriver.Chrome()
#打开百度
driver.get("http://www.baidu.com")
#等待3秒
time.sleep(3)
#关闭网页
driver.close()

会正常打开chrome浏览器,同时访问百度,3秒后自动关闭。这里driver可以是任意名称

3. 找到你想要操作的html内容

这里以chrome为例:

1. 人工从浏览器打开一个网址,以百度为例。然后鼠标右键----检查。或者chrome直接F12

2. 然后弹出很多的元素,这就是你需要的所有element了

3.然后找到我们需要点击的element,比如说这里的“百度一下”。我们可以首先点击左上角的箭头,然后再把鼠标移动到目标element

4. 这里出现的就是我们需要告诉selenium的元素了。然后通过find_element_by_,让selenium自动输入或者点击我们需要的操作。

比如说这里的tag是input,则一般表示输入框

如果tag是a,一般表示超链接

如果tag是img,则一般表示图片。

tag就是<>最前面的这一个名称

5. 然后通过右键-----复制-----Xpath或者其他元素,然后通过下面的函数,写入程序进行查找即可。

  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值