爬虫入门 & Selenium使用

最新推荐文章于 2024-09-28 19:49:11 发布
最新推荐文章于 2024-09-28 19:49:11 发布
阅读量581 收藏 10
点赞数 21
分类专栏： python 文章标签： 爬虫 selenium 测试工具 python xpath
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45565886/article/details/142615385
版权

爬虫入门 & Selenium使用

特别声明📢：本教程只用于教学，大家在使用爬虫过程中需要遵守相关法律法规，否则后果自负！！！

  • 项目代码：https://github.com/ziyifast/ziyifast-code_instruction/tree/main/python-demo/spider-demo/selenium

爬虫入门

概念

爬虫通俗点就是，我们通过代码的方式向浏览器发送请求获取我们想要的数据。因为整个互联网像是一个巨大的网，我们像是蜘蛛在网上面搜索我们要的东西，所以又叫爬虫。

流程：

  1. 我们通过向服务器发送请求
  2. 服务器响应网页数据(html+css+js等)
  3. 我们通过特定语言定位我们想要的数据（xpath、jsonpath、bs4等）
  4. 解析出数据，下载保存到数据库，或导出为报表

详细文档：https://blog.csdn.net/weixin_45565886/article/details/129544034

元素定位：xpath

既然我们要从服务器响应的数据中定位📌并获取数据，就不得不使用特定语言，这里介绍比较主流的xpath。

插件安装：xpath helper

建议大家在浏览器安装xpath插件，这样我们可以一边看网页，一边写xpath，更方便定位元素位置，提升效率。

链接: https://pan.baidu.com/s/1CqYfYzoNvjUadT3hpE0ewA 提取码: 4w34

  1. 将插件进行解压，在访达里面直接双击就解压了
    在这里插入图片描述

  2. 打开谷歌浏览器，选择右上方三个小点，找到更多工具，找到扩展程序点击进去（不同版本，可能有区别。如果更多工具处没找到扩展程序，点击设置按钮进入页面）
    在这里插入图片描述

  3. 打开右上角的开发者模式

  4. 将解压好的插件包拖进来就OK，注意：跟Windows不同的是这个就是一个文件夹，名为xpath，将这一整个文件夹拖进去

  5. 将xpath插件选择启用就完成了，如果浏览器上还是没有出现xpath插件，将插件重新加载就OK

  6. 打开网页->xpath在mac上的打开与关闭的快捷键为：command + shift + x。也可以直接点击插件进行启用
    在这里插入图片描述

语法

语法详情：
https://www.w3school.com.cn/xpath/xpath_syntax.asp
https://www.runoob.com/xpath/xpath-tutorial.html

xpath基本语法: 
1.路径查询 
//:查找所有子孙节点，不考虑层级关系 
/ :找直接子节点 
2.谓词查询 
//div[@id] 
//div[@id="maincontent"] 
3.属性查询 
//@class 
4.模糊查询 
//div[contains(@id, "he")]
//div[starts‐with(@id, "he")] 
5.内容查询 
//div/h1/text() 
6.逻辑运算 
//div[@id="head" and @class="s_down"]
//title | //price

案例：定位百度搜索按钮

  1. F12或option+command+i 打开开发者工具查看源码
    在这里插入图片描述
  2. 发现百度一下按钮在input标签下，且id=su。那么对应的xpath就为：//input[@id="su"]
    代表从html页面根开始查找其input标签且id=su的子孙元素
  • 如果想拿到百度一下这四个字：//input[@id="su"]/@value在这里插入图片描述> 3. 转换为对应python代码
# 安装依赖：pip install lxml
import urllib.request
from lxml import etree

url = "http://www.baidu.com"
response = urllib.request.urlopen(url)
content = response.read().decode('utf-8')
web_html = etree.HTML(content)

# 使用XPath选择器找到id为"su"的<input>元素，并获取其"value"属性值
result = web_html.xpath('//input[@id="su"]/@value')

print(result)

项目实战

Selenium：模拟用户操作浏览器

概念

web应用程序测试工具，模拟用户操作浏览器

Selenium是一个用于Web应用程序测试的工具。Selenium 测试直接运行在浏览器中，就像真正的用户在操作一样。

环境搭建
  1. 安装Google驱动

安装Google驱动（打开谷歌浏览器，设置-关于-查看对应Google版本），然后进入下面网址下载
https://googlechromelabs.github.io/chrome-for-testing/#stable

  • 选择对应版本（chrome driver驱动版本+chrome驱动对应架构）
    在这里插入图片描述
  1. 安装selenium
pip install selenium
项目实战

01_selenium_demo.py：

from selenium import webdriver
from selenium.webdriver.common.by import By


# 设置驱动路径、创建浏览器对象
browser = webdriver.Chrome('/Users/ziyi/GolandProjects/ziyifast-code_instruction/python-demo/spider-demo/selenium/chromedriver')

browser.get("https://www.baidu.com")

import time
time.sleep(2)
# 获取文本框对象
input = browser.find_element(By.ID,"kw")
# 输入curry
input.send_keys('curry')
# 休眠2s观察效果
time.sleep(2)
# 获取百度一下按钮
search_button = browser.find_element(By.ID,'su')
# 点击按钮
search_button.click()
time.sleep(2)
# 滑动浏览器页面
js_bottom = 'document.documentElement.scrollTop=100000'
browser.execute_script(js_bottom)
time.sleep(2)
# 获取下一页按钮
next = browser.find_element(By.XPATH,'//a[@class="n"]')
# 点击下一页
next.click()
# 回到上一页面
browser.back()
time.sleep(1)
# 前进一个页面
browser.forward()
time.sleep(2)
# 退出浏览器
browser.quit()

如果运行项目出现告警：NotOpenSSLWarning: urllib3 v2 only supports OpenSSL 1.1.1+, currently the ‘ssl’ module is compiled with ‘LibreSSL 2.8.3’
解决：pip install urllib3==1.26.15

运行效果：浏览器自动打开并进行操作
在这里插入图片描述

Selenium+PhantomJS：无需打开浏览器即可完成数据爬取，效率更快

概念

PhantomJS 是一个无头浏览器，它提供了一个可编程的JavaScript API，允许开发者在没有用户界面的情况下执行浏览器相关的操作。由于不进行css和gui渲染，运行效率要比真实的浏览器要快很多。

环境搭建

下载地址：https://phantomjs.org/download.html

# 需要注意最新版的selenium不支持phantomjs
# 如果要使用phantomjs，需要安装之前版本2.48.0
pip uninstall selenium 
pip install selenium==2.48.0
项目实战

selenium/02_phantomjs_demo.py：

# phantomJs: 无页面浏览器，支持页面元素查找、js执行；由于不支持css和gui渲染，运行效率比真实浏览器快很多
# Selenium： 可以根据我们的指令，让浏览器自动加载页面，获取需要的数据，甚至页面截屏，或者判断网站上某些动作是否发生。
# Selenium 自己不带浏览器，不支持浏览器的功能，它需要与第三方浏览器结合在一起才能使用。
# 但是我们有时候需要让它内嵌在代码中运行，所以我们可以用一个叫 Phantomjs 的工具代替真实的浏览器。
from selenium import webdriver
browser = webdriver.PhantomJS("/Users/ziyi/GolandProjects/ziyifast-code_instruction/python-demo/spider-demo/selenium/phantomjs")
browser.get("http://www.baidu.com")
# 拍快照，证明成功访问了百度
browser.save_screenshot("baidu.png")

Selenium+chrome headless：chrome新版原生支持无界面运行

概念

随着Chrome59版本推出Headless模式（无界面模式）以来，越来越多人采用Selenium+Headless Chrome模式
selenium+headless VS selenium+phantomjs

  • Headless Chrome加载速度比PhantomJS快55%
  • Headless Chrome消耗内存比PhantomJS少38%
    数据来源：https://hackernoon.com/benchmark-headless-chrome-vs-phantomjs-e7f44c6956c
环境搭建

Chrome

  • Unix\Linux 系统需要 chrome >= 59
  • Windows 系统需要 chrome >= 60 Python3.6
    • Selenium==3.4.*
    • ChromeDriver==2.31
项目实战

03_chrome_headless_demo.py：

# 随着Chrome59版本推出Headless模式（无界面模式）以来，越来越多人采用Selenium+Headless Chrome模式，实现自动化测试+爬虫。
from selenium import webdriver
from selenium.webdriver.chrome.options import Options
chrome_options = Options()
chrome_options.add_argument("--headless")
chrome_options.add_argument("--disable-gpu")
path = r'C:\Program Files (x86)\Google\Chrome\Application\chrome.exe'
chrome_options.binary_location = path
browser = webdriver.Chrome(chrome_options=chrome_options)
browser.get('http://www.baidu.com')
NPE~
关注
专栏目录
爬虫入门基础与Selenium反爬虫策略
这家伙很懒，什么都没有留下
09-20 2793
爬虫（Web Crawler）是一种自动化的网页抓取工具，它按照一定的规则和算法，遍历互联网上的网页，将网页数据保存到本地，以供后续分析和处理。爬虫可以用于很多不同的领域，例如搜索引擎、数据挖掘、竞争情报、价格监测等等。Selenium是一种自动化测试工具，它支持多种浏览器和操作系统，可以模拟真实的用户操作，如点击、输入、滚动页面等等。Selenium广泛应用于Web应用程序的测试和调试，它可以自动化测试流程，提高测试效率和准确度。Selenium作为一种自动化测试工具，在数据抓取方面也具有非常实用的价值。
Java爬虫入门详解（Selenium）
weixin_57504000的博客
05-18 8695
目录 一、Selenium简介 二、Selenium组成 三、Selenium特点 四、案例演示 1.下载驱动包 2.创建项目并导入依赖 3.基础配置 4.案例演示 1.Class 2.ID 3.name 4.tag 5.link 6.Partial link选择（a标签文本内容模糊匹配） 7.css选择器 8.xpath选择 9.在文本框中输入内容 五：Selenium爬取JD商品信息 1.初始化设置 2.获取京东网站首页查询按钮并完成点击事件（进入页面自动查询）
Python爬虫基础之Selenium详解
程序园@大Null
10-17 1万+
围绕 Selenium 库展开讲解如何使用自动化工具操作浏览器。
Python爬虫基础之 Selenium
向之 所欣
11-18 796
Selenium是一个浏览器自动化测试框架，是一款用于Web应用程序测试的工具。框架底层使用JavaScript模拟真实用户对浏览器进行操作。测试脚本执行时，浏览器自动按照脚本代码做出点击，输入，打开，验证等操作，就像真实用户所做的一样，从终端用户的角度测试应用程序。使浏览器兼容性测试自动化成为可能，尽管在不同的浏览器上依然有细微的差别。使用简单，可使用Java，Python等多种语言编写用例脚本。
Python网络爬虫--Selenium入门
qq_44962906的博客
07-18 352
介绍了Selenium的使用
Java使用selenium入门
m0_63300795的博客
09-05 3982
Selenium是一个用于Web应用程序自动化测试工具。Selenium测试直接运行在浏览器中，就像真正的用户在操作一样。支持的浏览器包括IE（7, 8, 9, 10, 11），Mozilla Firefox，Safari，Google Chrome，Opera等。适用于自动化测试，js动态爬虫（破解反爬虫）等领域。
selenium爬虫入门（1）
little_yueyue的博客
12-09 1240
selenium爬虫入门
Selenium入门之java爬虫入门
明思齐的博客
09-13 516
2004年，Thoughtworks的员工Jason Huggins编写了一个名为JavaScriptTestRunner的测试工具，并于当年向多位同事展示，该工具进一步进化为一个可以复用的测试框架并开源。同时Bea, Dan Fabulich和Nelson Sproul等人修改架构为独立服务模式，期间有多位开发人员加入开发并推出了Selenium RC和Selenium-IDE。
python爬虫Selenium库详细教程
2401_84208172的博客
04-20 690
在我们爬取网页过程中，经常发现我们想要获得的数据并不能简单的通过解析HTML代码获取，这些数据是通过AJAX异步加载方式或经过JS渲染后才呈现在页面上显示出来。
Python爬虫入门 ~ selenium访问元素信息与交互基本使用
weixin_73136678的博客
12-27 1744
函数，可以获取到标签体中的文本内容，这里需要注意的是，一定得是标签体中有文字的才能正常获取到数据，想"百度一下"按钮是没有文本的，则无法获取到数据。常用的交互步骤都用上了，还是挺简单的，以后爬取别的数据也是针对性的调整一下元素的定位即可。函数，指定我们所需要的标签属性，即可得到对应的属性值。搜索完成了，接下来是将页面滚动到最下方，这里使用的是。一般就可以滚动到最下方的了。
爬虫入门：selenium
T2020_2_22的博客
02-29 202
selenium from selenium import webdriver #webdriver启动Google浏览器 driver = webdriver.Chrome() driver.get("网址") 常用操作 close();关闭当前页面 quit();退出整个浏览器 定位元素 find_element_by_id()：根据id来获取元素 find_element_by_cl...
[Python从零到壹] 九.网络爬虫之Selenium基础技术万字详解（定位元素、常用方法、键盘鼠标操作）
热门推荐
杨秀璋的专栏
05-29 2万+
前一篇文章讲述了数据库操作知识，包括MySQL安装、SQL语句和Python操作数据库知识，这将为后续网络爬虫存储至数据库奠定基础。本文详细介绍Selenium基础技术，涉及基础入门、元素定位、常用方法和属性、鼠标操作、键盘操作和导航控制。基础性文章，希望对您有所帮助。欢迎大家来到“Python从零到壹”，在这里我将分享约200篇Python系列文章，带大家一起去学习和玩耍，看看Python这个有趣的世界。所有文章都将结合案例、代码和作者的经验讲解，真心想把自己近十年的编程经验分享给大家，希望对您有所帮助，
Python爬虫之selenium深入解读【从入门到实战】
景天科技苑
12-29 1万+
Selenium在爬虫中占据比较重要的地位。我们在抓取一些普通网页的时候requests基本上是可以满足的. 但是, 如果遇到一些特殊的网站. 它的数据是经过加密的.但是呢, 浏览器却能够正常显示出来. 那我们通过requests抓取到的内容可能就不是我们想要的结果了. 例如,电影票房数据. 在浏览器上看的时候是正常的. 那么按照之前的逻辑. 我们只需要看看数据是通过哪个请求拿到的就可以进行模拟请求了. 但是数据找到了.结果是经过加密算法的
爬取元气手机壁纸简单案例（仅用于教学，禁止任何非法获利）
2301_79810514的博客
09-27 867
BeautifulSoup 是一个用于解析 HTML 和 XML 的 Python 库，提供了方便的工具来提取和处理网页数据。以下是对 BeautifulSoup 的一些关键点的介绍：安装安装 requests。
Python爬虫爬取王者荣耀英雄信息并保存到图数据库
WwLK123的博客
09-27 1015
利用Python爬虫爬取王者荣耀全部英雄信息，并保存到图数据库。
加载数据模型：在数据采集中实现动态数据处理
ip16yun的博客
09-24 717
在现代网络爬虫技术中，数据的动态处理成为了提升采集效率和准确性的重要手段。随着目标网站数据的多样性和复杂性增加，静态数据采集方法逐渐无法满足需求。本文以拼多多为例，探讨如何通过加载数据模型实现动态数据处理，并结合代理IP、Cookie、User-Agent设置及多线程技术提升数据采集的效率。
Scrapy入门
最新发布
卡布达的博客
09-28 221
Scrapy是一个用Python实现的快速、高层次的屏幕抓取和web抓取框架，主要用于抓取web站点并从页面中提取结构化的数据。的文件夹，其中包含Scrapy项目的所有必要文件和文件夹。命令创建一个新的Scrapy项目。：处理由爬虫提取出来的数据，如清洗、验证和存储。：项目的Python模块，将会从这里引用代码。：处理爬虫输入的响应和输出的结果及新的请求。：解析响应并生成提取结果和新的请求。：处理引擎与下载器之间的请求及响应。：定义爬取结果的数据结构。：项目的全局配置文件。：存储爬虫代码的目录。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值