使用selenium爬取fofa中链接的网站正文

最新推荐文章于 2024-08-20 09:43:03 发布

「已注销」

最新推荐文章于 2024-08-20 09:43:03 发布

阅读量377

点赞数

本文链接：https://blog.csdn.net/csdn_zxg/article/details/108681973

版权

本文介绍如何使用Selenium爬取fofa中链接的网站正文。由于需要登录，故仅能爬取5页，会员则可爬取更多。

摘要由CSDN通过智能技术生成

如题，可能有人不明白啥意思，看下图，本文就是爬取fofa中红色圈圈的内容，红色圈圈是fofa存储的其他链接的HTML，点击这个图标就会弹出界面，界面里面就是HTML，我们就是爬这个东西。

由于登录后只能爬5页，所以我们只爬5页。

import requests
from bs4 import BeautifulSoup
from selenium import webdriver
import os,time
import pandas as pd
from selenium.webdriver.support.wait import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

#app表示我们要搜索的标题
app=["海康威视-视频监控","NUUO-视频监控","北京银河伟业-视频监控","大华-视频监控","Brickcom-视频监控","DASAN_Networks-视频监控","ACTi-视频监控","Vicon-视频监控","雄迈-视频监控"]
#这是启动chromedriver，这东西网上有，下载过来放Chrome里
browser=webdriver.Chrome(executable_path='C:\\Program Files (x86)\\Google\\Chrome\\Application\\chromedriver.exe')
#先随便打开一