利用python+selenium获取网页数据

最新推荐文章于 2023-09-07 16:57:33 发布

软件测试小站

最新推荐文章于 2023-09-07 16:57:33 发布

阅读量333

点赞数

文章标签： selenium python

本文链接：https://blog.csdn.net/weixin_45823224/article/details/115333478

版权

该博客演示了如何利用Python的Selenium库进行网页交互，包括访问页面、输入信息、点击按钮以及抓取和分析页面内容。示例中分别展示了在58同城租房页面进行点击操作、在斗鱼网站进行翻页以及在天猫商城搜索商品的操作过程。

摘要由CSDN通过智能技术生成

from selenium import webdriver
# 导入By
from selenium.webdriver.common.by import By
import time
dv=webdriver.Chrome()
# 访问
url="https://bj.58.com/chuzu/?PGTID=0d100000-0000-1c02-31ea-81aa49349e15&ClickID=2"
dv.get(url)
time.sleep(3)
# 1
el=dv.find_element_by_tag_name('input')
el.click()
time.sleep(3)
results=dv.find_elements_by_css_selector('body')
print(len(results))
time.sleep(4)
for i in results:
    print("网页的内容和网址",i.text,i.get_attribute('href'))
    print("大小和是否显示",i.size,i.is_displayed())
    time.sleep(2)
dv.close()
获取斗鱼网站的翻页
from selenium import webdriver
# 导入By
from selenium.webdriver.common.by import By
import time
dv=webdriver.Chrome()
# 访问百度
url="https://www.douyu.com/directory/all"
dv.get(url)
time.sleep(3)
# By调用的定位方式全部为大写
# 1
el=dv.find_element_by_class_name("ListFooter-btn-input")
el.send_keys("100")
time.sleep(3)
el=dv.find_element_by_class_name("ListFooter-btn-label")
el.click()
dv.close()
天猫商城的自动输入搜索
from selenium import webdriver
# 导入By
from selenium.webdriver.common.by import By
import time
dv=webdriver.Chrome()
# 访问百度
url="https://www.tmall.com"
dv.get(url)
time.sleep(2)
# By调用的定位方式全部为大写
# 1
el=dv.find_element_by_css_selector('#mq')
el.send_keys("小米手机")
el1=dv.find_element_by_css_selector("#mallSearch > form > fieldset > div > button")
el1.click()
time.sleep(2)
dv.quit()