python爬虫seleium模块基本操作

seleium是python中浏览器驱动模块,也是一个第三方库,在网络爬虫中,使用requests模块访问网站时,常常会遇到各种反爬措施,而seleium的出现可以模拟用户进行浏览器操作,能够看到正常用户使用浏览器的数据。

使用seleium模块和requests不同,并不是直接import一下就好,它需要用户下载浏览器驱动程序,谷歌浏览器就下载  chromedriver   火狐浏览器就下载geckodriver,以下两篇文章可以学到方法,这里不作为重点

谷歌:https://blog.csdn.net/zhoukeguai/article/details/113247342

火狐:https://blog.csdn.net/hy_696/article/details/80114065

导入时代码为from seleium import webdriver

首先我们需要实例化一个对象,作为后续的操作对象

browser=webdriver.Firefox(executable_path=r'D:\python\python安装\Scripts\geckodriver.exe')

这是火狐浏览器对应的代码,谷歌浏览器就把英文火狐换成谷歌,后面的是下载的对应浏览器驱动的路径。

小编在后面会综合引入一个例子,用下面的内容控制浏览器

对于实例好的brower对象,有几种主要的方法:

get为访问的网址                                           maximize/minimize_window()窗口最大最小化

page_source 当前页面源码                         quit()退出

还有最重要的就是定位功能

seleium定位的方式是多种的,主要进行id、class、xpath、css选择器定位等,其中他们的值直接在网页源码中可以获得,想定位哪个标签就引入它们的值,对应的方法为

find_element_by_id/class_name/xpath(),括号内引入字符串,写入对应的值

其中id、class复制即可,xpath、css选择器也不用自己输入,如下图

 火狐、谷歌都可以直接将这些内容复制到粘贴板上

举个例子,如果我们需要点击一个按钮,其class name为submit,点击操作分为两步,先定位此按钮,再进行点击,例如

search_btn = browser.find_element_by_class_name('submit')
search_btn.click()

 将这个按钮赋给一个变量search_btn,再.click即可

另外使用seleium可以查看标签的属性,例如它的herf属性,大小,位置,是否可用等等,后面的代码包含此内容

另外还可以对文本框内容进行代码中的赋值,利用send_keys函数,后面的代码也包含此内容

小编将上述内容总结成一段访问淘宝的代码段,并配上相应视频。

from selenium import webdriver
import time
browser=webdriver.Firefox(executable_path=r'D:\python\python安装\Scripts\geckodriver.exe')
browser.get('https://uland.taobao.com/sem/tbsearch?&keyword=手机')
browser.maximize_window()#窗口最大化
#获取源码
page = browser.page_source
time.sleep(1)
#通过id定位到输入文本框   并将关键词手机清空
input_key = browser.find_element_by_id('J_search_key').clear()
time.sleep(1)
#将搜索关键词电脑输入到文本框中
input_key = browser.find_element_by_id('J_search_key')
input_key.send_keys('电脑')
time.sleep(1)
#通过class属性找到搜索按钮
search_btn = browser.find_element_by_class_name('submit')
time.sleep(1)
#点击搜索按钮
search_btn.click()
time.sleep(1)
#向前一页
browser.back()#向后用forward()
time.sleep(1)
#通过xpath定位到淘宝网首页
home_page = browser.find_element_by_xpath('/html/body/div[1]/div/ul[2]/li[1]/div/a')
time.sleep(1)
#点击返回至淘宝网首页
home_page.click()
'''我们还可以判断某个标签的状态'''
tianmao = browser.find_element_by_xpath('/html/body/div[3]/div/ul[1]/li[1]/a')
print(tianmao.get_attribute('href'))#获取天猫的href属性
print(tianmao.is_selected())#查看天猫是否被选中
print(tianmao.is_displayed())#查看天猫是否显示
print(tianmao.is_enabled())#查看天猫是否可用
print(tianmao.text)#获取天猫的文本
print(tianmao.tag_name)#获取天猫的标签名称
print(tianmao.size)#获取天猫的大小
print(tianmao.location)#获取天猫的位置坐标
time.sleep(1)
clothes = browser.find_element_by_css_selector('li.J_Cat:nth-child(1) > a:nth-child(1)')
clothes.click()
time.sleep(3)
browser.quit()#关闭浏览器

代码运行后,会一步一步控制浏览器,打印的结果如下图

 结果为选中标签的各类信息

下面附上上述代码运行后,自动化控制浏览器的视频

seleium基本使用

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
### 回答1: Python爬虫中可以使用Selenium库来爬取网页信息。Selenium可以模拟浏览器行为,能够爬取JavaScript渲染后的网页信息。使用Selenium爬取网页时,需要配合浏览器驱动(如ChromeDriver、FirefoxDriver)使用。 ### 回答2: Python是一种高级编程语言,吸引了大量编程人员和开发者使用Python进行Web开发、数据分析、机器学习和人工智能等领域的开发。爬虫技术正是其中的一项重要技术,用python编写爬虫程序通常更加便捷和灵活。而selenium是Python中主要的爬虫库之一,用于爬取动态Web页面,可以模拟用户在浏览器中的行为,从而获取大量数据。 使用selenium爬取信息可以分为以下几个步骤: 1.安装和导入selenium和webdriver: 首先需要安装适合的版本的selenium包,并导入selenium和webdriver模块: ```python from selenium import webdriver ``` 2.配置浏览器驱动: Selenium需要浏览器驱动(如Chrome,Firefox等)来与其进行交互,需要配置如下: ```python driver = webdriver.Chrome() ``` 其中,Chrome()表示使用Chrome浏览器驱动,如果使用Firefox,则需要改为Firefox()。 3.访问网页: 使用get()函数可以访问指定的网址: ```python driver.get("https://www.baidu.com/") ``` 4.查找元素: 使用selenium的查找元素功能,可以根据元素的ID、name、class、tag等属性进行查找: ```python element = driver.find_element_by_id("kw") # 根据ID查找 element = driver.find_element_by_name("wd") # 根据name查找 element = driver.find_element_by_class_name("s_ipt") # 根据class查找 element = driver.find_element_by_tag_name("input") # 根据tag查找 ``` 5.模拟用户输入/点击: 使用send_keys()函数模拟用户在搜索框中输入关键字,使用click()函数模拟用户在搜索按钮上点击: ```python element.send_keys("Python") element.click() ``` 6.解析数据: 使用webdriver的page_source属性可以获取网页的源代码,然后使用正则表达式或BeautifulSoup库等解析数据。 以上就是使用selenium进行爬虫的主要步骤。实际应用中,需要根据不同的网站和需要爬取的数据进行具体的配置和调整。在使用selenium过程中,需要了解一些常见的使用技巧和注意事项,例如模拟等待时间,处理弹窗、验证码等。同时,也需要遵循爬虫的法律和道德规范,不得进行非法、滥用等行为。 ### 回答3: selenium是一种自动化测试工具,它可以模拟浏览器行为,实现自动化操作。在Python爬虫中,selenium也可以用来爬取需要模拟人工操作的网站数据。 使用selenium可以实现以下操作: 1.自动模拟浏览器打开网页,获取网页源码。 2.模拟用户操作,如点击按钮、填写文本框、下拉选择框等。 3.通过获取网页源码进行数据解析。 基本流程比较简单,首先需要准备好selenium的环境,这需要下载对应的webdriver,这里我使用Chrome浏览器,并且下载了对应版本的chromedriver。 然后通过selenium启动浏览器,在浏览器中进行模拟操作,最后获取网页源码进行数据解析。 具体实现可以参考以下代码: ```python from selenium import webdriver from bs4 import BeautifulSoup # 创建一个Chrome浏览器实例 browser = webdriver.Chrome() # 访问目标网页 browser.get('https://www.example.com') # 模拟点击按钮,等待加载完成 button = browser.find_element_by_xpath('//button[@class="btn"]') button.click() browser.implicitly_wait(5) # 获取网页源码 html = browser.page_source soup = BeautifulSoup(html, 'html.parser') data = soup.find_all('div', class_='data') # 处理数据 for item in data: # do something # 关闭浏览器 browser.quit() ``` 总体来说,selenium是一个强大的爬虫工具,可以应对大部分需要模拟人工操作的场景,但也存在一些缺点,比如速度慢、占用资源高等。因此在具体应用中需要根据实际情况进行选择。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值