用户需要使用 Python 的 requests 模块登录网站 https://www.epexspot.com/en/extras/EPEXme/login 并下载文件。用户尝试使用以下代码登录,但由于缺乏经验,无法从网站中提取相关头信息:
from requests import session
payload = {
'text': 'username',
'password': 'password',
'logon': 'username',
'submit': 'Login'
}
headers = {
'Referer': 'https://www.epexspot.com/en/extras/EPEXme/login/login/
aHR0cHM6Ly93d3cuZXBleHNwb3QuY29tL2VuL21hcmtldC1kYXRhL2hpc3RvcmljYWwtZGF0YS9
yZXRyaWV2ZS9hdWN0aW9uX19nZXJtYW55X2F1c3RyaWEvYXVjdGlvbl9zcG90X3
ByaWNlc19nZXJtYW55X2F1c3RyaWFfMjAxNC5jc3Y%3D'
'User-Agent': 'Mozilla/5.0 (Windows NT 5.1; rv:33.0) Gecko/20100101 Firefox/33.0'
}
with session() as c:
c.post('link', data=payload, verify=False, headers=headers)
request = c.get('https://www.epexspot.com/en/market-data/historical-data/retrieve
_auction_germany_austria/auction_spot_prices_germany_austria_2014.csv, verify=False)
request.content
该代码并不能获取到用户想要的数据,而是网站的登录页面信息。用户需要从网站中提取相关的头信息,并正确提交表单数据才能成功登录。
2、解决方案
为了解决该问题,用户可以参考以下步骤:
- 打开网站 https://www.epexspot.com/en/extras/EPEXme/login 并查看登录表单的 HTML 源代码。
- 找到表单的 action 属性,它将指向处理登录请求的 URL。
- 提取表单中的所有输入元素,包括文本框、密码框等。
- 提取每个输入元素的 name 和 value 属性,并将其放入 requests 模块的 payload 字典中。
- 将必要的头信息添加到 requests 模块的 headers 字典中。
- 使用 requests 模块的 post 方法提交表单数据并获取会话对象。
- 使用会话对象获取想要下载的文件。
以下是一个示例代码,展示了如何使用 Python 的 requests 模块登录网站并下载文件:
import requests
# 提取表单的 action 属性
action_url = "https://www.epexspot.com/en/extras/EPEXme/login/User/show_login_form"
# 提取输入元素的 name 和 value 属性
payload = {
"User-show_login_form[form][login][page1][page_values][page_sent]": "",
"User-show_login_form[form][login][page1][login][]": "username",
"User-show_login_form[form][login][page1][password][]": "password"
}
# 添加必要的头信息
headers = {
"Referer": "https://www.epexspot.com/en/extras/EPEXme/login/login/",
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/106.0.0.0 Safari/537.36"
}
# 创建会话对象
with requests.Session() as session:
# 发送登录请求
session.post(action_url, data=payload, headers=headers)
# 获取想要下载的文件
download_url = "https://www.epexspot.com/en/market-data/historical-data/retrieve_auction_germany_austria/auction_spot_prices_germany_austria_2014.csv"
response = session.get(download_url, verify=False)
# 保存下载的文件
with open("auction_spot_prices_germany_austria_2014.csv", "wb") as f:
f.write(response.content)
请注意,在使用此代码之前,您需要将 “username” 和 “password” 替换为您的实际用户名和密码。