数据的整理：使用Phthon对数据进行整理方便导入各类软件（如stata等）

前几天在处理大创需要的数据的时候，发现原始数据下载下来是这样：

	原保险保费收入（万元）	原保险保费收入（万元）	原保险保费收入（万元）	原保险保费收入（万元）	原保险保费收入（万元）		原保险保费收入（万元）
日期	全国合计	北京	天津	河北	辽宁		江苏
01-2006	5584071.68	527391.92	106848.41	216499.65	157439.23		602208.82
02-2006	9972423.64	817376.67	187578.93	378677.25	283106.39		1138019.77
03-2006	16014688.68	1154082.41	286093.71	665783.89	522588.73		1787257.91
04-2006	20454472.84	1465516.35	373035.4	866214.39	681875.74		2178655.33
05-2006	24765561.33	1727176.84	458865.66	1081607.1	838824.28		2517199.71
06-2006	30802816.91	2094520.93	565276.33	1391031	1079048.45		2962686.45
07-2006	34242986.42	2363729.22	630816.16	1546304.16	1193032.34		3234754.55

如果直接把这个表格导入到Python或者Stata，甚至使用Excel进行数据透视，都是非常不方便的。而且，我的导师还给了我另外一个表格，是关于各地气候变化的，要问把两个表的内容对齐。另外一个表长这样：

			气温	降雨量	光照	湿度	最高温	最低温
	id	Time	tem	pre	sun	hum	exh	exl
北京市	1	200401	-2.3	0.7	195	36	9.2	-12.9
北京市	1	200402	2.9	8.8	214	34	14.2	-7.4
北京市	1	200403	7.8	0.1	244	32	22.7	-5
北京市	1	200404	16.3	37.2	248	40	30.2	3.3
北京市	1	200405	20.5	39.1	253	44	33.2	10

 显然，第一个表和第二个表要合并的话，是需要经过整理的，对于每个数据，我们都需要知道它对应的时间、地区和类别，然后再使用pandas的merge方法或者其他的手段将两个表连接。

这是表1整理后的样子：

	类型	时间	地区	收入	气温	降雨量	光照	湿度	最高温	最低温
0	原保险保费收入（万元）	200601	全国合计	5584071.68
1	原保险保费收入（万元）	200602	全国合计	9972423.64
2	原保险保费收入（万元）	200603	全国合计	16014688.68
3	原保险保费收入（万元）	200604	全国合计	20454472.84
4	原保险保费收入（万元）	200605	全国合计	24765561.33
5	原保险保费收入（万元）	200606	全国合计	30802816.91
6	原保险保费收入（万元）	200607	全国合计	34242986.42
7	原保险保费收入（万元）	200608	全国合计	38209530.18
8	原保险保费收入（万元）	200609	全国合计	43091849.81
9	原保险保费收入（万元）	200610	全国合计	47002510.8

便于进一步的整理分析。

实现整理的过程可以通过Excel实现，也可以通过Python的xlrd和pandas等包实现。在这里我们采用的使用Python的方法。

import xlrd 
import xlwt
import pandas as pd

 首先导入需要使用到的包，包括xlrd和pandas

然后我们通过xlrd的open_workbook方法创建一个对象进行操作：

xls=xlrd.open_workbook("./保险收入数据.xls")
sheet=xls.sheets()[0]

在后续设计上，思路上主要是首先将数据排成一整列，存储到列表中，再将其相关信息分门别类进行循环同样存储到列表中去，最后全部使用insert方法导入到dataframe中去，再导出成为Excel表格。

income_list=[]
for col in range(1,166):
    for row in range(2,170) :
        data=sheet.cell(rowx=row,colx=col).value
        income_list.append(data)

循环主要借助的是将sheet对象中的每个值取出来，然后存入列表，在这里值得注意的有两个点：

1.循环的次序，如果循环的次序错了，可能每个值和相关的信息的对应就会出现问题；

2.在调用cell方法时，返回的是一个字典，类型：值，如number：10000，如果要取得值的话，一定要记得加上value

完整代码如下：

import xlrd 
import xlwt
import pandas as pd
import re

xls=xlrd.open_workbook("./保险收入数据.xls")
sheet=xls.sheets()[0]
income_list=[]
for col in range(1,166):
    for row in range(2,170) :
        data=sheet.cell(rowx=row,colx=col).value
        income_list.append(data)
region_list=[]
for col in range(1,34):
      region=sheet.cell(rowx=1,colx=col).value
      region_list.append(region)

print(region_list)
region_lists=[]
for j in range(5):
     for region in region_list:
          for i in range(168):
            region_lists.append(region)
date_list=[]
month_list=["01","02","03","04","05","06","07","08","09","10","11","12"]
for i in range(5):
    for region in region_list:
        for year in range(2006,2020):
            for month in month_list:
                date=str(year)+month
                date_list.append(date)
form_lists=[]
form_list=["原保险保费收入（万元）","财产保险保费收入（万元）","寿险保费收入（万元）","意外险保费收入（万元）","健康险保费收入（万元）"]
for form in form_list:
    for i in range(5544):
        form_lists.append(form)
df=pd.DataFrame()
df.insert(loc=0,value=form_lists,column='类型')
df.insert(loc=1,value=date_list,column='时间')
df.insert(loc=2,value=region_lists,column='地区')
df.insert(loc=3,value=income_list,column='收入')
print(df)

df.to_excel("./修改版.xls")

PS：由于是一个自用的小脚本，就没有写很多注释在里面，仅供参考。