爬取石油价格数据

爬取石油价格数据，直接上代码。

一 导包

import pandas as pd
import requests
from bs4 import BeautifulSoup
from io import StringIO
import pymysql
import datetime

二 代码

## 1 获取数据
# 发起HTTP请求
url = 'https://www.zuixinyoujia.com/guonei/'
response = requests.get(url)
response.encoding='gbk'
# 解析HTML
soup = BeautifulSoup(response.text, 'html.parser')
## 获取油价时间
time = datetime.datetime.now().strftime('%Y-%m-%d %H:%M:%S')
## 找到对应的数据
data = []
data_province = soup.find_all('tr')
for row in data_province:
    value = row.text.strip()
    data.append(value)
list_data = str(data).replace('\\n' ,',').replace(',,',',').replace("'","").replace("]","")
new_data = list_data[24:]
StringIO = StringIO(new_data.replace(", ","\n"))
df = pd.read_csv(StringIO,sep=",")
df['时间'] = time
print("查看数据爬取情况：\n",df)
## 将数据保存
path = 'E:\工作\数据收集\石油价格' + '\\' + "石油价格" + str(time).replace('/',"-")[0:10] + ".csv"
df.to_csv(path)

有帮到铁子们可以点点关注 收藏一下。