第三周第二次
处理更新数据
将18——21年的市场数据处理之后与之前的数据合并入一张表,导入数据库
图片关联信息也导入数据库
将数据转存入云数据库中
同组同学处理好的数据打开全是乱码
搜索后使用新建xlsx文件,导入自文本,使用utf-8的文字完成了更改
最后,对之前和现在到21年的数据进行处理,保证相同格式,进行合并
import pandas as pd
import os
Folder_Path = r'D:\PyCharm\data' # 要拼接的文件夹及其完整路径,注意不要包含中文
SaveFile_Path = r'D:\PyCharm\data_a' # 拼接后要保存的文件路径
SaveFile_Name = r'a.csv' # 合并后要保存的文件名
# 修改当前工作目录
os.chdir(Folder_Path)
# 将该文件夹下的所有文件名存入一个列表
file_list = os.listdir()
# 读取第一个CSV文件并包含表头
df = pd.read_csv(Folder_Path + '\\' + file_list[0]) # 编码默认UTF-8,若乱码自行更改
# 将读取的第一个CSV文件写入合并后的文件保存
df.to_csv(SaveFile_Path + '\\' + SaveFile_Name, encoding="utf_8_sig", index=False)
# 循环遍历列表中各个CSV文件名,并追加到合并后的文件
for i in range(1, len(file_list)):
df = pd.read_csv(Folder_Path + '\\' + file_list[i])
df.to_csv(SaveFile_Path + '\\' + SaveFile_Name, encoding="utf_8_sig", index=False, header=False, mode='a+')
最后将得到的数据导入云数据库