虽然在进行网络数据采集时用 CSS 属性区分有用信息和无用信息会很容易（比如，通过读取 id 和 class 标签获取信息），但这么做有时也会出问题。如果网络表单的一个字段通过CSS 设置成对用户不可见，那么可以认为普通用户访问网站的时候不能填写这个字段，因为它没有显示在浏览器上。如果这个字段被填写了，就可能是机器人干的，因此这个提交会失效。
这种手段不仅可以应用在网站的表单上，还可以应用在链接、图片、文件，以及一些可以被机器人读取，但普通用户在浏览器上却看不到的任何内容上面。访问者如果访问了网站避开采集陷阱上的一个“隐含”内容，就会触发服务器脚本封杀这个用户的 IP 地址，把这个用户踢出网
站，或者采取其他措施禁止这个用户接入网站。实际上，许多商业模式就是在干这些事情。
下面的例子所用的网页在 http://pythonscraping.com/pages/itsatrap.html。这个页面包含了两个链接，一个通过 CSS 隐含了，另一个是可见的。另外，页面上还包括两个隐含字段：
<html>
<head>
<title>A bot-proof form</title>
</head>
<style>
body {
overflow-x:hidden;
}
.customHidden {
position:absolute;
right:50000px;
}
</style>
<body>
<h2>A bot-proof form</h2>
<a href=
"http://pythonscraping.com/dontgohere" style="display:none;">Go here!</a>
<a href="http://pythonscraping.com">Click me!</a>
<form>
<input type="hidden" name="phone" value="valueShouldNotBeModified"/><p/>
<input type="text" name="email" class="customHidden"
value="intentionallyBlank"/><p/>
<input type="text" name="firstName"/><p/>
<input type="text" name="lastName"/><p/>
<input type="submit" value="Submit"/><p/>
</form>
</body>
</html>
这三个元素通过三种不同的方式对用户隐藏：
• 第一个链接是通过简单的 CSS 属性设置 display:none 进行隐藏
• 电话号码字段 name=“phone” 是一个隐含的输入字段
• 邮箱地址字段 name=“email” 是将元素向右移动 50 000 像素（应该会超出电脑显示器的
边界）并隐藏滚动条
因为 Selenium 可以获取访问页面的内容，所以它可以区分页面上的可见元素与隐含元素。
通过 is_displayed() 可以判断元素在页面上是否可见。
例如，下面的代码示例就是获取前面那个页面的内容，然后查找隐含链接和隐含输入字段：
from selenium import webdriver
from selenium.webdriver.remote.webelement import WebElement
driver = webdriver.PhantomJS(executable_path='')
driver.get("http://pythonscraping.com/pages/itsatrap.html")
links = driver.find_elements_by_tag_name("a")
for link in links:
if not link.is_displayed():
print("The link "+link.get_attribute("href")+" is a trap")
fields = driver.find_elements_by_tag_name("input")
for field in fields:
if not field.is_displayed():
print("Do not change value of "+field.get_attribute("name"))
Selenium 抓取出了每个隐含的链接和字段，结果如下所示
The link http://pythonscraping.com/dontgohere is a trap
Do not change value of phone
Do not change value of email
虽然不太可能会去访问你找到的那些隐含链接，但是在提交前，记得确认一下那些已经在表单中、准备提交的隐含字段的值（或者让 Selenium 为你自动提交）
扫一扫
498
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
