前言
网络爬虫(Web Crawler),也称为网页蜘蛛(Web Spider)或网页机器人(Web Bot),是一种按照既定规则自动浏览网络并提取信息的程序。爬虫的主要用途包括数据采集、网络索引、内容抓取等。
爬虫的基本原理
- 种子 URL:爬虫从一个或多个种子 URL 开始,这些 URL 是起点。
- 发送请求:爬虫向这些种子 URL 发送 HTTP 请求,通常是 GET 请求。
- 获取响应:服务器返回网页的 HTML 内容作为响应。
- 解析内容:爬虫解析 HTML 内容,提取所需的数据(如文本、链接、图片等)。
- 提取链接:从网页中提取出所有链接,并将这些链接加入待访问队列。
- 重复过程:爬虫重复上述步骤,直到达到某个停止条件,如爬取了一定数量的页面,或所有页面都被爬取完毕。
爬虫的分类
-
通用爬虫
- 设计用于抓取整个互联网的大量网页。搜索引擎(如 Google、Bing)的爬虫就是通用爬虫。
-
聚焦爬虫
- 专注于特定主题或领域,抓取相关网页。比如,一个新闻爬虫只抓取新闻网站的内容。
-
增量爬虫
- 仅抓取自上次爬取以来发生变化或更新的网页,适用于动态内容更新频繁的网站。
爬虫的合法性和道德
在编写和运行爬虫时,必须遵循以下原则:
-
遵守网站的
robots.txt
:-
大多数网站都有一个
robots.txt
文件,规定了哪些页面允许被爬取,哪些不允许。爬虫应当尊重这些规则。
-
-
避免过度抓取:
- 设置适当的抓取频率,避免对服务器造成过大负担。
-
尊重版权和隐私:
- 不应抓取或使用受版权保护的内容,或涉及用户隐私的数据。
-
获取许可:
- 在某些情况下,最好获得网站管理员的许可,特别是当你打算频繁地抓取大量数据时。
通过以上方法和原则,可以编写高效、可靠且合规的网络爬虫来满足数据采集的需求。
侦察
本次案例网页如下
这里老版本是通过查看解析来看答案的,但其实 k 值就是答案
项目源代码
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
# 请求网址
url = 'https://www.jsyks.com/kmy-mnks'
# 实例化浏览器对象
driver = webdriver.Chrome()
# 打开网站
driver.get(url)
# 查找具有 .Content 类的 ul 元素
ul_element = driver.find_element(By.CSS_SELECTOR, '.Content')
# 在 ul 元素下查找所有 li 标签
li_elements = ul_element.find_elements(By.TAG_NAME, 'li')
# 获取 k 值(正确答案)保存到列表中
k_values = []
for li in li_elements:
attribute_value = li.get_attribute('k')
k_values.append(attribute_value)
# 使用列表推导式替换字符
replaced_list = ["正确" if x == 'R' else "错误" if x == 'E' else x for x in k_values]
# 遍历问题并根据答案列表选择选项
for index, li in enumerate(li_elements):
answer = replaced_list[index]
if answer == '正确' or answer == '错误':
option = li.find_element(By.XPATH, f".//b[contains(text(), '{answer}')]")
else:
# 使用 starts-with 函数查找答案为A、B、C、D的情况
option = li.find_element(By.XPATH, f".//b[starts-with(normalize-space(text()), '{answer}')]")
# 滚动到元素
driver.execute_script("arguments[0].scrollIntoView();", option)
# 等待元素可点击
WebDriverWait(driver, 3).until(
EC.element_to_be_clickable(option)
)
# 使用JavaScript点击选项
try:
driver.execute_script("arguments[0].click();", option)
except Exception as e:
print(f"Failed to click on option: {answer} for question {index + 1} due to {e}")
# 关闭浏览器
driver.close()
项目效果