DrissionPage爬虫学习

DrissionPage 是一个强大的 Python 网页自动化工具，能够在浏览器自动化和高效的数据包处理之间实现无缝切换。它提供了三种主要的页面对象：ChromiumPage、WebPage 和 SessionPage，每种对象都有其特定的用途和功能。

ChromiumPage 主要用于直接操作浏览器，适合需要与页面进行交互的场景，例如点击、输入文本和执行 JavaScript 脚本等。尽管其功能强大，但由于依赖浏览器的性能，运行速度可能较慢，并且会占用较多内存。

WebPage 则是一个综合性的页面对象，结合了浏览器控制和数据包的收发功能。它支持两种模式：d 模式用于浏览器操作，而 s 模式则专注于数据包的处理。d 模式允许对页面进行各种操作，但速度较慢；而 s 模式则速度更快，适合在数据包较简单的情况下使用。

SessionPage 是一个轻量级的页面对象，专门用于发送和接收数据包，适合不需要页面交互的爬取任务。

# DrissionPage 是一个基于 python 的网页自动化工具。  DrissionPage官方的文档：https://www.drissionpage.cn/
# 可兼顾浏览器自动化的便利性和 requests 的高效率。它功能强大，内置无数人性化设计和便捷功能。它的语法简洁而优雅，代码量少，对新手友好。

# page = SessionPage() / WebPage() / ChromiumPage()
#   ChromiumPage：单纯用于操作浏览器的页面对象  登录
#   WebPage：整合浏览器控制和收发数据包于一体的页面对象  页面分析  d 模式和 s 模式
#             d 模式用于控制浏览器，不仅可以读取浏览器获取到的信息，还能对页面进行操作，如点击、填写、开关标签页、改变元素属性、执行 js 脚本等等。
#             d 模式功能强大，但运行速度受浏览器制约非常缓慢，而且需要占用大量内存。
#             s 模式的运行速度比 d 模式快几个数量级，但只能基于数据包进行读取或发送，不能对页面进行操作，不能运行 js。
#             爬取数据时，如网站数据包较为简单，应首选 s 模式。
#   SessionPage：单纯用于收发数据包的页面对象  爬取  不会跳出

# page.change_mode()  切换到收发数据包模式 切换的时候程序会在新模式重新访问当前 url  有验证码和页面数据由 js 产生先d后s

# page.get(f'url')  跳转url
# page.ele('a***')  # 定位元素
# #表示按id属性查找元素 @表示按属性名查找 .表示按class属性查找元素  t:字的大小，例如t:h3 tag:a 获取其子元素中所有 a 元素
# ele.input('您的密码')  # 输入文本
# ele.click()  # 点击元素
# page.eles('t:button@tx():')  搜索表示选择一个类型为按钮的元素，且其文本内容为搜索
# page.s_eles 更快的获取元素
# s_eles()与eles()的区别在于前者会把整个页面或动态元素转变成一个静态元素，再在其中获取下级元素或信息。因为静态元素是纯文本的，没有各种属性、交互等消耗资源的部分，所以运行速度非常快。
# ele.next()  # 获取后一个元素
# ele.prev(index=2)  # 获取前面第二个元素
# page.quit() 关闭

# from TimePinner import Pinner  # 导入计时工具
# pinner = Pinner()  # 创建计时器对象
# pinner.pin()  # 标记开始记录
# pinner.pin('用时')  # 记录并打印时间

from DrissionPage import ChromiumPage

# ##操控浏览器
#
# 导入库
# from DrissionPage import ChromiumPage
#
# # 创建页面对象，并启动或接管浏览器
# page = ChromiumPage()
# # 跳转到登录页面
# page.get('https://gitee.com/login')
#
# # 定位到账号文本框，获取文本框元素
# ele = page.ele('#user_login')   # #表示按id属性查找元素
# # 输入对文本框输入账号
# ele.input('您的账号')
# # 定位到密码文本框并输入密码
# page.ele('#user_password').input('您的密码')
# # 点击登录按钮
# page.ele('@value=登 录').click()  # @表示按属性名查找
#
#
# ## 爬取
# # 收发数据包
#
# from DrissionPage import SessionPage
#
# # 创建页面对象
# page = SessionPage()
#
# # 爬取3页
# for i in range(1, 4):
#     # 访问某一页的网页
#     page.get(f'https://gitee.com/explore/all?page={i}')
#     # 获取所有开源库<a>元素列表
#     links = page.eles('.title project-namespace-path')
#     # 遍历所有<a>元素
#     for link in links:
#         # 打印链接信息
#         print(link.text, link.link)
#
# # 页面分析
#
# from DrissionPage import WebPage
#
# # 创建页面对象
# page = WebPage()
# # 访问网址
# page.get('https://gitee.com/explore/all')
# # 切换到收发数据包模式
# page.change_mode()
# # 获取所有行元素
# items = page.ele('.ui relaxed divided items explore-repo__list').eles('.item')
# # 遍历获取到的元素
# for item in items:
#     # 打印元素文本
#     print(item('t:h3').text)
#     print(item('.project-desc mb-1').text)
#     print()