一、
1.使用Selenium可以抓取动态网页中的数据。(√)
2.网络爬虫可以频繁访问官方售票网站,并且不会对网站产生任何影响。(×)
3.HrIPS 协议在传输数据过程中比HTTP 协议更加安全。(×)
4.在处理弹框之前需要先使用#ebDzivez类对象的switch_to.alert选中弹出框。(×)
5.find_al10方法用于查找所有符合条件的节点,并以列表的形式进行返回。(×)
6.添加User-agent字段的目的是防止网站检测出程序为网络爬虫。(√)
7.ActionChaine类中封装了鼠标单击、双击、右击、拖曳、按住不动等操作。(√)
8.在Requests库中,路径表达式是唯一的。(×)
9.在Requests库中,Cookie 信息可以放在请求头中,也可以通过cookie参数设置。(√)
10.每次执行鼠标操作时都需要调用performO方法未执行鼠标操作(×)
二、
1.selenium中 ActionChains类提供了很多鼠标操作
2.xpath可以使从html 或xml格式的数据中提取所需的数据
3.若想将当前发送的请求伪装成浏览器发送的请求,需要在请求头中添加User-Agent字段。
4..匹配以“py”开头的字符串的正则表达式为“^py”。5.网络爬虫是一种自动化获取互联网信息的技术
6.通过alert类中的text属性可以获取弹框中的提示信息
7.识别点选验证码识别可以使用第三平台识别接口和selenium
8.HTTP请求由请求行、请求头部、空行和请求正文组成。
9.验证码是指将一串随机产生的数字或字母生成一张图片
10.使用Response类的headers属性可以获取响应头。
三、
1.简述什么是网络爬虫
网络爬虫是一种自动化的程序,它按照特定的规则和算法,在网络上爬取数据和信息。这些数据和信息可以来自各种网站、论坛、博客等,爬虫通过模拟用户浏览网页的行为,自动地抓取网页内容,并将这些内容存储在本地或者数据库中,以便后续的分析和处理。网络爬虫在搜索引擎、数据挖掘、网站监控等领域有广泛的应用。
2.请简述解析网页数据常用的技术
解析网页数据常用的技术包括HTML解析和XPath解析。HTML解析是指通过解析HTML文档结构来提取所需的数据。常用的HTML解析器有Beautiful Soup和lxml等。XPath解析则是一种基于XML的路径语言,用于在XML文档中定位元素和属性。在网页数据解析中,XPath被广泛用于提取网页元素的定位信息,然后使用定位信息提取网页中的数据。
3.请简述如何使用超级鹰识别点选验证码
(1)首先,需要找到一个能够识别点选验证码的第三方平台或者工具。
(2)在代码中,导入相关的库或工具,如selenium、pytesseract等。
(3)设置好环境,例如模拟浏览器环境等。
(4)根据验证码的特点,使用相应的技术进行识别。例如,如果验证码是点选式的,可以使用selenium模拟点击操作;如果验证码是文字式的,可以使用pytesseract进行文字识别。
(5)最后,将识别的结果进行处理,如提取出有用的信息、验证识别结果的准确性等。