7.14 处理csv数据

要求从csv文件的市场字段中提取所在城市，各个字段如下

名称,类别,单位,价格,市场,日期

一些数据展示：

可以看到市场这一字段有的是直接给出了所在市，但是有的只是一个辖区县的名称，对于后者就要建立映射关系，单独处理。前者则只需提取所在市即可

 

数据预处理，加上城市字段占位，设置为temp

import pandas as pd

df=pd.read_csv('2021price.csv')
print(df.head())

df['城市']='temp'#占位置
df.to_csv('_2021.csv',columns=['名称','类别','市场','价格','日期','城市'],index=0,header=1)

逐行根据市场名称修改所在城市，保存到另一个文件中

import csv

f = csv.reader(open('_2021.csv', 'r',encoding='UTF-8'))
#写到2021.csv中，编码格式为UTF8，否则会乱码
wf = open('2021.csv', 'w',newline='',encoding='UTF-8')
csv_write = csv.writer(wf)
#地级市
ls1=['青岛','滨州','德州','滕州','寿光','威海','淄博','济南']
#辖区
ls2=['鲁南','金乡','宁津','临邑','章丘']

#建立映射关系  市场->地级市
d={}
d['鲁南']='枣庄'
d['金乡']='济宁'
d['宁津']='德州'
d['临邑']='德州'
d['章丘']='济南'
for i in f:
    flag=False
    for city in ls1:
        if i[1].find(city)!=-1:
            i[4]=city
            flag=True
            break
    if flag!=True:
        for city in ls2:
            if i[1].find(city)!=-1:
                i[4]=d[city]
    csv_write.writerow(i)

处理结果：