使用selenium爬取fofa中的网站链接

最新推荐文章于 2024-07-07 00:27:16 发布

「已注销」

最新推荐文章于 2024-07-07 00:27:16 发布

阅读量612

点赞数

本文链接：https://blog.csdn.net/csdn_zxg/article/details/108689761

版权

本文介绍如何利用selenium爬取fofa提供的网站链接，由于登录限制，仅能爬取5页，会员可爬取更多。

摘要由CSDN通过智能技术生成

上一次爬取fafo给的HTML是被处理过的，不能用，这次我们直接爬取他们给到网站链接，然后自己去爬ip的网站

由于登录后只能爬5页，所以我们只爬5页。

import requests
from bs4 import BeautifulSoup
from selenium import webdriver
import os,time
import pandas as pd
from selenium.webdriver.support.wait import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

#app表示我们要搜索的标题
app=["海康威视-视频监控","NUUO-视频监控","北京银河伟业-视频监控","大华-视频监控","Brickcom-视频监控","DASAN_Networks-视频监控","ACTi-视频监控","Vicon-视频监控","雄迈-视频监控"]
#这是启动chromedriver，这东西网上有，下载过来放Chrome里
browser=webdriver.Chrome(executable_path='C:\\Program Files (x86)\\Google\\Chrome\\Application\\chromedriver.exe')
#先随便打开一个网址
browser.get("https://fofa.so/result?q=app%3D%22%E6%B5%B