selenium，requests，bs4爬取sci网站论文

首先需要下载浏览器对应版本的msedgedriver.exe，然后创建浏览器WebDriver实例

edge_driver_path = "msedgedriver.exe"  # 此处需要填写自己的edgeDriver路径
s = Service(edge_driver_path)
my_driver = webdriver.Edge(service=s)

通过selenium实现动态加载页面并获取资源路径 

def get_src(driver, a_url):  # 通过selenium包获取动态页面的src
    # 打开网页
    driver.get(a_url)

    # 等待一段时间确保页面加载完成
    time.sleep(4)

    # 获取完整页面内容
    page_source = driver.page_source

    # 使用BeautifulSoup解析HTML
    a_soup = BeautifulSoup(page_source, 'html.parser')

    # 找到id为"pdf"的iframe元素
    pdf_iframe = a_soup.find('iframe', {'id': 'pdf'})

    # 提取iframe的src属性
    if pdf_iframe:
        pdf_src = pdf_iframe.get('src')
        if pdf_src[0]=='h':
            return pdf_src
        else:
            pdf_src = "https:" + pdf_src
            return pdf_src
    else:
        pdf_src = "fail"
        return pdf_src

通过设置 User-Agent 标头，代码模拟浏览器向服务器发出请求，这有助于确保服务器以与浏览器相同的方式响应请求。

def download_pdf(load_path, url_path):    # 先放下载路径，再放资源路径
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36',
        'Referer': 'https://sci.bban.top/'
    }
    response = requests.get(url_path, headers=headers)
    if response.status_code == 200:
        with open(load_path, 'wb') as file:
            file.write(response.content)
        print(f"PDF文件已保存到: {load_path}")
    else:
        print('文件下载失败，状态码：', response.status_code)