python·数据采集·Selenium动态爬取(爬虫4)

已于 2023-04-08 15:31:58 修改
阅读量1.2k 收藏 6
点赞数
分类专栏： python爬虫学习笔记 文章标签： python
于 2021-07-13 16:46:15 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_47326711/article/details/118696176
版权

python·数据采集·Selenium动态爬取（爬虫4）

官网链接：Selenium-python

Selenium+chromedriver获取动态数据：

Selenium相当于是一个机器人。可以模拟人在浏览器上的一些行为，自动处理浏览器上的一些行为，比如点击，填充数据，删除cookie等。chromedriver是一个驱动Chrome浏览器的驱动程序，使用他才可以驱动浏览器。当然针对不同的浏览器有不同的driver。以下列出了不同浏览器及其对应的driver：

  1. Chrome：https://sites.google.com/a/chromium.org/chromedriver/downloads
  2. Firefox：https://github.com/mozilla/geckodriver/releases
  3. Edge：https://developer.microsoft.com/en-us/microsoft-edge/tools/webdriver/
  4. Safari：https://webkit.org/blog/6900/webdriver-support-in-safari-10/

安装

pip install selenium

下载chromedriver

打开谷歌-点击右上角更多-帮助-关于Google Chrome，查看Google Chrome版本。

在这里插入图片描述

Chrome驱动文件下载链接: https://npm.taobao.org/mirrors/chromedriver/
找到相同版本的chromedriver下载，下载后放入pycharm当前工作目录中。

打开一个网页

from selenium import webdriver

driver_path = 'chromedriver.exe' #指定浏览器的驱动
driver = webdriver.Chrome(executable_path=driver_path) #实例化一个 机器人对象

driver.get('https://www.baidu.com')
print(driver.page_source) #返回网页源代码

可以看到打开的谷歌

在这里插入图片描述

关闭网页

from selenium import webdriver
import time

driver_path = 'chromedriver.exe' #指定浏览器的驱动
driver = webdriver.Chrome(executable_path=driver_path) #实例化一个 机器人对象

driver.get('https://www.baidu.com')
print(driver.page_source) #返回网页源代码
time.sleep(5)
#driver.close() #关闭窗口
driver.quit()# 退出整个浏览器

打开浏览器自动搜索

根据id来查找某个元素：find_element_by_id
根据类名查找元素：find_element_by_class_name

from selenium import webdriver
import time

driver_path = 'chromedriver.exe' #指定浏览器的驱动
driver = webdriver.Chrome(executable_path=driver_path) #实例化一个 机器人对象

driver.get('https://www.baidu.com')
inputTag = driver.find_element_by_id('kw')
inputTag.send_keys('计算机培训到底哪家强，千锋武汉扛把子')
submitTag = driver.find_element_by_id('su')
submitTag.click()
time.sleep(3)
driver.quit()# 退出整个浏览器

根据name属性的值来查找元素：find_element_by_name
根据xpath语法来获取元素：find_element_by_xpath
根据css选择器选择元素：find_element_by_css_selector：

from selenium import webdriver
import time
from selenium.webdriver.common.by import By

driver_path = 'chromedriver.exe' #指定浏览器的驱动
driver = webdriver.Chrome(executable_path=driver_path) #实例化一个 机器人对象

driver.get('https://www.scuec.edu.cn/yxsz.htm')
driver.get('https://www.scuec.edu.cn/yxsz.htm')
#inputTag = driver.find_element_by_name('kw')
#inputTag = driver.find_element(By.ID,'kw')
inputTag = driver.find_element(By.CSS_SELECTOR,'.quickdelete-wrap>input')
#inputTag = driver.find_elements(By.CSS_SELECTOR,'.quickdelete-wrap>input')[0]
submitTag =driver.find_element_by_xpath('//*[@id="hotsearch-content-wrapper"]/li[1]/a/span[2]')
inputTag.send_keys('python基础·练习1(字符串作业)')
submitTag = driver.find_element_by_id('su')
submitTag.click()
time.sleep(3)
driver.quit()# 退出整个浏览器

行为链打开人人

账号需自己补充

from selenium import webdriver #导入webdriver
from selenium.webdriver.common.by import By
import time
from selenium.webdriver.common.action_chains import ActionChains
driver_path = 'chromedriver.exe' #指定浏览器的驱动
driver = webdriver.Chrome(executable_path=driver_path) #实例化一个 机器人对象
driver.get('https://renren.com/login?to=https%3A%2F%2Frenren.com%2F')

usernameTag = driver.find_element_by_xpath('/html/body/div/div[3]/div/div[1]/div[2]/div[2]/div[1]/input')
#获取输入框
passwordTag = driver.find_element_by_xpath('/html/body/div/div[3]/div/div[1]/div[2]/div[2]/div[2]/input')
#密码框
submitTag =driver.find_element_by_xpath('/html/body/div/div[3]/div/div[1]/div[2]/div[2]/div[5]')
#获取按钮框
actions = ActionChains(driver) #创建一组行为
actions.move_to_element(usernameTag) #焦点移到到输入框
actions.send_keys_to_element(usernameTag,'....') #输入用户名
actions.move_to_element(passwordTag)#焦点移到到密码框
actions.send_keys_to_element(passwordTag,'...')#输入密码
actions.move_to_element(submitTag) #焦点移到到按钮框
actions.click(submitTag) #点击按钮
actions.perform()

隐藏浏览器

上面代码中加入：

options = webdriver.Chrome()
options.add_argument('--headless')
options.add_argument('--disable-gpu')

driver_path = 'chromedriver.exe' #指定浏览器的驱动
driver = webdriver.Chrome(executable_path=driver_path,options=options) #实例化一个 机器人对象

代理ip

from selenium import webdriver #导入webdriver
options = webdriver.ChromeOptions() #创建一个选项 最终运行按照选项执行
options.add_argument('--headless') #隐藏浏览器
options.add_argument('--disable-gpu') #禁用GPU
#options.add_argument('--proxy-server=http://101.200.187.22:16817') #使用代理
from selenium.webdriver.common.by import By
import time
from selenium.webdriver.common.action_chains import ActionChains
from selenium.webdriver.support.ui import Select
driver_path = "chromedriver.exe" #指定浏览器的驱动
driver = webdriver.Chrome(executable_path=driver_path,options=options) #实例化一个 机器人对象
driver.get('http://httpbin.org/ip')
print(driver.page_source)

登录中南民族大学信息门户

“*”的位置需要输入学号和密码：

from selenium import webdriver #导入webdriver
import time
#from selenium.webdriver.common.action_chains import ActionChains


driver_path = 'chromedriver.exe' #指定浏览器的驱动
driver = webdriver.Chrome(executable_path=driver_path) #实例化一个 机器人对象
driver.get('https://ehall.scuec.edu.cn/new/index.html')

submitTag1 = driver.find_element_by_xpath('//*[@id="ampHasNoLogin"]/span[2]')
submitTag1.click()

usernameTag = driver.find_element_by_xpath('/html/body/div/div[1]/section/div[3]/div[1]/div/form/div/div[1]/div[1]/input')
#获取输入框
usernameTag.send_keys('************')
passwordTag = driver.find_element_by_xpath('/html/body/div/div[1]/section/div[3]/div[1]/div/form/div/div[1]/div[2]/input[1]')
#密码框
passwordTag.send_keys('**********')
submitTag =driver.find_element_by_xpath('/html/body/div/div[1]/section/div[3]/div[1]/div/form/div/div[3]/a')
# #获取按钮框
submitTag.click()
time.sleep(5)
driver.quit()

获取网页截图

from selenium import webdriver #导入webdriver
options = webdriver.ChromeOptions() #创建一个选项 最终运行按照选项执行
options.add_argument('--headless') #
options.add_argument('--disable-gpu')
#options.add_argument('--proxy-server=http://101.200.187.22:16817')
from selenium.webdriver.common.by import By
import time
from selenium.webdriver.common.action_chains import ActionChains
from selenium.webdriver.support.ui import Select
driver_path = "chromedriver.exe" #指定浏览器的驱动
driver = webdriver.Chrome(executable_path=driver_path,options=options) #实例化一个 机器人对象
driver.get('http://www.baidu.com')
submitBtn = driver.find_element_by_id('su')
print(submitBtn.get_attribute('value'))
driver.set_window_size(200,200)
driver.save_screenshot('baidu.png')
#print(driver.page_source)

京东

import json
import time
from selenium import webdriver
driver_path = "chromedriver.exe"
"""
发送请求
    1.1生成driver对象
    2.1窗口最大化
    2.2下拉滚动条（保证每个位置都刷新）
    3.获取所有li标签列表
    保存图片
翻页
"""
driver = webdriver.Chrome(executable_path=driver_path)
driver.maximize_window() # 让窗口最大化
time.sleep(1)
# 京东商品页
driver.get('https://list.jd.com/list.html?cat=9987,653,655&ev=exbrand%5F12669&sort=sort_rank_asc&trans=1&JL=3_%E5%93%81%E7%89%8C_%E9%AD%85%E6%97%8F%EF%BC%88MEIZU%EF%BC%89#J_crumbsBar')
while True:
    time.sleep(1)
    for i in range(16):
        driver.execute_script('window.scrollTo(0,{})'.format(i * 500))
        time.sleep(1)
    lis = driver.find_elements_by_xpath('//ul[@class="gl-warp clearfix"]/li')
    with open('京东.txt', 'w', encoding='utf-8') as f:
        for li in lis:
            # 商品图片、价格、评价人数、商品名
            img_url = li.find_element_by_xpath('./div/div[1]/a/img').get_attribute('src')
            price = li.find_element_by_xpath('.//div[@class="p-price"]/strong').text
            buyers = li.find_element_by_xpath('./div/div[5]/strong').text
            name = li.find_element_by_xpath('./div/div[4]//em').text

            # 将信息写入文本
            dic = {}
            dic['name'] = name
            dic['price'] = price
            dic['buyers'] = buyers
            json.dump(dic, f, ensure_ascii=False)
            f.write(',\n')
    try:
        next_url = driver.find_element_by_xpath('/html/body/div[7]/div/div[2]/div[1]/div/div[3]/div/span[1]/a[4]').click()
    except Exception as e:
        print(e)
        break

time.sleep(1)
driver.close()

天猫

from selenium import webdriver
import csv
import time
# 访问网址
url = "http://www.tmall.com"
# 驱动器
driver_path = "chromedriver/chromedriver.exe"

browser = webdriver.Chrome(executable_path=driver_path)
browser.get(url)
# 获取文本框
browser.find_element_by_css_selector("#mq").send_keys("迪奥")
browser.find_element_by_css_selector("#mallSearch > form > fieldset > div > button").click()
# 登陆
# browser.find_element_by_css_selector("#fm-login-id").send_keys("13966445588")
# browser.find_element_by_css_selector("#fm-login-password").send_keys("123456")
# 查看源代码
print(browser.page_source)
# 找到所有裙子的div标签   [data,data,data,....]
liList = browser.find_elements_by_css_selector("#J_ItemList > div")
# print(liList)
# 循环每一条数据
for i in liList:
    # print(i)   <em>399</em>
    # 获取价格em标签，取出价格
    price = i.find_element_by_css_selector("#J_ItemList > div > div > p.productPrice > em").text
    price = price[1:]
    # 获取简介a标签,取出简介
    title = i.find_element_by_css_selector("#J_ItemList > div > div > p.productTitle > a").text
    # 获取店铺名称a标签，取出店铺名
    store = i.find_element_by_css_selector("#J_ItemList > div > div > div.productShop > a").text
    print(price,title,store)
    # 表格操作 as 重命名 [1,2,3]    [[1,2,3],[1,2,3],[1,2,3]]
    # open("表格名称", "模式 w/r/a+", 编码格式, 禁止换行)
    # 查看数据：ANSI格式    操作：utf-8格式
    with open("tm.csv","a+",encoding="utf-8",newline="") as openFile:
        csv.writer(openFile).writerow([price,store,title])
    print("数据装入表格成功")
斑马L*
关注
  • 0
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
2.3 基于Selenium的web数据采集
garyyu2200的博客
09-30 69
基于Selenium的web数据采集
Python下利用Selenium获取动态页面数据
软件测试技术交流分享
03-20 2623
利用python爬取网站数据非常便捷，效率非常高，但是常用的一般都是使用BeautifSoup、requests搭配组合抓取静态页面（即网页上显示的数据都可以在html源码中找到，而不是网站通过js或者ajax异步加载的），这种类型的网站数据爬取起来较简单。但是有些网站上的数据是通过执行js代码来更新的，这时传统的方法就不是那么适用了。这种情况下有如下几种方法：清空网页上的network信息，更新页面，观察网页发送的请求，有些网站可以通过这种方法构造参数，从而简化爬虫。但是适用范围不够广泛。使用。
【Python】selenium爬虫常见用法和配置，以及常见错误和解决方法
小5聊的博客
05-10 1943
有时候我们需要爬取一些数据进行分析和测试， 对于Python而言，selenium插件是爬虫最佳选择， 本篇文章将简单列一些常见错误和解决方法。 温馨提示，合理使用爬虫，任何技术都有利有弊，适当就好。
如何使用Selenium Python爬取多个分页的动态表格并进行数据整合和分析
ip16yun的博客
07-31 2891
Selenium是一个开源的自动化测试框架，它可以模拟用户在浏览器中的操作，如点击、输入、滚动等，从而实现对网页的自动化测试或爬取。Selenium支持多种编程语言，如Java、Python、Ruby等，其中Python是最受欢迎的一种，因为它简洁、易用、灵活。Selenium Python提供了一个WebDriver API，它可以让我们通过Python代码控制不同的浏览器驱动，如Chrome、Firefox、Edge等，从而实现对不同网站和平台的爬取。
如何使用 Python 爬虫抓取动态网页数据
weixin_51151534的博客
04-23 6435
本文介绍了如何使用 Python 爬虫抓取动态网页数据，包括分析动态网页、模拟用户行为、使用 Selenium 等技术。通过本文的介绍，读者可以了解到如何使用 Python 爬虫来获取动态网页中的数据，并可以在实际应用中灵活运用这些技术。
如何实现动态爬虫
y632481222的博客
03-07 764
动态爬取是指爬取动态网页内容，包括通过 JavaScript 加载的内容。实现动态爬取的方法有以下几种： 1. 使用 Selenium：Selenium 是一个自动化测试工具，可以模拟用户在浏览器中的操作，包括点击、输入、滚动等。通过 Selenium 可以启动一个浏览器，加载网页并执行 JavaScript，然后获取网页内容。Selenium 支持多种浏览器，包括 Chrome、Firefox、Safari 等。 2. 使用 Pyppeteer：Pyppeteer 是一个 Python 库，可以通过调
使用Selenium和ChromeDriver操作浏览器获取动态数据
weixin_43740011的博客
05-13 5727
在Web开发中，有时需要爬取动态生成的数据。这些数据无法通过传统的爬虫工具获取，因为它们需要在浏览器中执行JavaScript代码才能生成。在这种情况下，可以使用Selenium和ChromeDriver来模拟人类用户的行为，操作浏览器并获取动态数据。
PYTHON爬虫+selenium+Request+Python 网络数据采集
09-29
本资料包主要涵盖了使用Python进行网络数据采集的相关知识，包括基础的requests库、高级的selenium库以及正则表达式的应用。 首先，我们来详细了解`requests`库。这是一个非常实用的Python模块，用于发送HTTP请求，...
Python爬虫项目之爬取头条数据.zip
最新发布
05-30
10. **法律法规与道德规范**：在进行网络爬虫时，必须遵守相关法律法规，尊重网站的robots.txt文件，不进行非法数据采集，保护个人隐私。 以上就是Python爬虫项目中爬取头条数据的主要知识点。通过这个项目，你不仅...
1688、淘宝网站数据爬取（python实现）
08-21
auto_taobao.py 是使用 selenium 框架直接操纵浏览器进行数据爬取, 在该文件的27行的函数参数需要自己手动填写需要进行搜索的商品名称，填完之后运行即可自动爬取~ ./测试文件/requests_02.py 是使用 requests 框架...
Python+selenium网站数据表格快速收集存储到MYSQL
05-30
Python+selenium网站数据表格快速收集存储到MYSQL 这是一个实用的程序，可以修改相关参数即可使用，如果使用过程不会的，可以加入QQ群咨询：637125060
微博数据采集python+selenium工程：WBCrawler.zip
03-25
《Python爬虫【零】问题介绍 -- 对“微博辟谣”账号的历史微博进行数据采集》https://blog.csdn.net/u010086122/article/details/114957255 博客专题内对源码分析已经比较清楚和全面了，可以满足学习要求。此资源...
selenium网络爬虫去哪儿机票利用performance获取日志截获加载的xhr，ajax，js等数据
weixin_47481982的博客
12-21 2379
页面获取后发现是经过ob混淆的页面源代码，处理起来难度又更高了(最后总结发现并非全部混淆只是哈有ob混淆的代码就以为运用上了)，最后几经思考了解到利用日志定位到页面加载的数据从而获取加载过了什么数据，等于抓包软件抓取的原理。（虽然后面发现可以定位页面获取想要的数据并没有ob混淆只是部分运用了，但获取请求的返回更高效不需要翻页请求一次获取全部内容，并且摸索学会了新的爬取技术）成功获取到数据，因为此网站的数据是直接返回所有当天的所有机票数据，所以更方便不需要跳转页面来获取，只需要对数据进行提取即可！
【Python爬虫】动态IP+多线程下载+Selenium
郝久武的博客
09-16 2096
动态IP；多线程；Selenium爬虫
Python--校园网爬虫记
weixin_30383279的博客
03-14 596
查成绩，算分数，每年的综合测评都是个固定的过程，作为软件开发者，这些过程当然可以交给代码去做，通过脚本进行网络请求获取数据，然后直接进行计算得到基础分直接填表就好了，查成绩再手动计算既容易出错也繁琐，所以本篇的内容就是开发一个爬虫脚本取抓取成绩表，至于综合测评计算，这个没什么意义这里就不说了，分数都有了就都够了。 我们的目的就是通过编写脚本，模仿浏览器进行请求获取源码，再进行解析...
使用Selenium来爬取网页内容
热门推荐
CoCo629vanilla的博客
08-10 1万+
Selenium Python 绑定提供了一个简单的 API 来使用 Selenium WebDriver 编写功能/验收测试。通过 Selenium Python API，我们可以直观地访问 Selenium WebDriver 的所有功能。
爬虫工具 - selenium
qq_48051316的博客
11-18 4572
爬虫工具 - selenium
基于selenium爬取去哪儿酒店信息
m0_54454944的博客
04-16 2193
去哪儿网站中，要爬取旅游的酒店信息，我们用通常的requests库进行爬取的时候发现，当我们要翻页的时候网址未出现变化，返回的网页源码信息始终只有第一页的内容，那么有没有一种方式可以使得能够翻页爬取呢？爬取酒店信息的重难点主要在于模拟的登录的过程，需要注意的坑是每次我们翻页的时候要下拉下滑网页，等待网页加载，加载完毕之后才能获取网页信息，再来就是网页信息的清洗，这里值得注意的是可能存在标签错位的情况，这里我们就要特殊情况，特殊处理。我们首先需要确定我们浏览器的版本，这里我使用的是谷歌浏览器。
爬虫四 selenium 自动操作浏览器爬取内容
随风的博客
03-29 1619
selenium 自动操作浏览器爬取内容 代码示例： #本地Chrome浏览器设置方法 from selenium import webdriver # 从selenium库中调用webdriver模块 import time # 调用time模块 driver = webdriver.Chrome() # 设置引擎为Chrome，真实地打开一个Chrome浏览器 driver.get(‘https://localprod.pandateacher.com/python-manuscript/hello-s
Python Selenium自动化爬虫指南：从入门到实战
本书以2019年2月11日的版本为准，由作者刘傲凡编写，适合希望学习如何使用Selenium进行网页抓取和数据采集的读者。 章节结构详细介绍了Selenium的安装和配置，包括Windows和Linux用户的具体步骤，确保跨平台操作。...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值