如何使用 Python 的 requests 模块登录 https 网站（epex spot）下载文件

用户需要使用 Python 的 requests 模块登录网站 https://www.epexspot.com/en/extras/EPEXme/login 并下载文件。用户尝试使用以下代码登录，但由于缺乏经验，无法从网站中提取相关头信息：

from requests import session

payload = {
'text': 'username',
'password': 'password',
'logon': 'username',
'submit': 'Login'
}

headers = {
'Referer': 'https://www.epexspot.com/en/extras/EPEXme/login/login/
 aHR0cHM6Ly93d3cuZXBleHNwb3QuY29tL2VuL21hcmtldC1kYXRhL2hpc3RvcmljYWwtZGF0YS9
 yZXRyaWV2ZS9hdWN0aW9uX19nZXJtYW55X2F1c3RyaWEvYXVjdGlvbl9zcG90X3
 ByaWNlc19nZXJtYW55X2F1c3RyaWFfMjAxNC5jc3Y%3D'
'User-Agent': 'Mozilla/5.0 (Windows NT 5.1; rv:33.0) Gecko/20100101 Firefox/33.0'
}

with session() as c:
c.post('link', data=payload, verify=False, headers=headers)
request = c.get('https://www.epexspot.com/en/market-data/historical-data/retrieve
_auction_germany_austria/auction_spot_prices_germany_austria_2014.csv, verify=False)
request.content

该代码并不能获取到用户想要的数据，而是网站的登录页面信息。用户需要从网站中提取相关的头信息，并正确提交表单数据才能成功登录。

2、解决方案

为了解决该问题，用户可以参考以下步骤：

1. 打开网站 https://www.epexspot.com/en/extras/EPEXme/login 并查看登录表单的 HTML 源代码。
2. 找到表单的 action 属性，它将指向处理登录请求的 URL。
3. 提取表单中的所有输入元素，包括文本框、密码框等。
4. 提取每个输入元素的 name 和 value 属性，并将其放入 requests 模块的 payload 字典中。
5. 将必要的头信息添加到 requests 模块的 headers 字典中。
6. 使用 requests 模块的 post 方法提交表单数据并获取会话对象。
7. 使用会话对象获取想要下载的文件。

以下是一个示例代码，展示了如何使用 Python 的 requests 模块登录网站并下载文件：

import requests

# 提取表单的 action 属性
action_url = "https://www.epexspot.com/en/extras/EPEXme/login/User/show_login_form"

# 提取输入元素的 name 和 value 属性
payload = {
    "User-show_login_form[form][login][page1][page_values][page_sent]": "",
    "User-show_login_form[form][login][page1][login][]": "username",
    "User-show_login_form[form][login][page1][password][]": "password"
}

# 添加必要的头信息
headers = {
    "Referer": "https://www.epexspot.com/en/extras/EPEXme/login/login/",
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/106.0.0.0 Safari/537.36"
}

# 创建会话对象
with requests.Session() as session:
    # 发送登录请求
    session.post(action_url, data=payload, headers=headers)

    # 获取想要下载的文件
    download_url = "https://www.epexspot.com/en/market-data/historical-data/retrieve_auction_germany_austria/auction_spot_prices_germany_austria_2014.csv"
    response = session.get(download_url, verify=False)

    # 保存下载的文件
    with open("auction_spot_prices_germany_austria_2014.csv", "wb") as f:
        f.write(response.content)

请注意，在使用此代码之前，您需要将 “username” 和 “password” 替换为您的实际用户名和密码。