pandas文件读取与数据分析-excel,txt,pickle

最新推荐文章于 2024-05-28 09:45:22 发布

夏天望月兔

最新推荐文章于 2024-05-28 09:45:22 发布

阅读量1k

点赞数

分类专栏：算法优化文章标签： python 列表数据分析 excel csv

本文链接：https://blog.csdn.net/AS7062031/article/details/108358904

版权

算法优化专栏收录该内容

16 篇文章 4 订阅

订阅专栏

pandas文件读取与数据分析-excel,txt

写入数据
读取txt
写入excel
读取excel
read_sql

pandas 是基于NumPy 的一种工具，该工具是为了解决数据分析任务而创建的。pandas提供了一些用于将表格型数据读取为DataFrame对象的函数，其中常用read_csv和read_table读取文件。

read_csv和read_table都是是加载带分隔符的数据，每一个分隔符作为一个数据的标志，但二者读出来的数据格式还是不一样的，read_table是以制表符 \t 作为数据的标志，也就是以行为单位进行存储。
重要的函数

读取函数	写入函数
read_csv	to_csv
read_excel	to_excel
read_hdf	to_hdf
read_sql	to_sql
read_json	to_json
read_html	to_html
read_stata	to_stata
read_clipboard	to_clipboard
read_pickle	to_pickle

假设表格

a	b	c	d	e
1	4	0	1	3
2	2	2	2	2
3	1	4	1	1
4	3	0	4	0

写入数据

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
# generate some data

# 通过数组创建
arr = [0, 1, 2, 3, 4]
df = pd.Series(arr) # 如果不指定索引，则默认从 0 开始
#生成时间序列
dates = pd.date_range('20160101', periods=6)
#index相当于索引参考数据库中的索引，即行。生成DataFrame的第一种方式：通过np来生成
df = pd.DataFrame(np.random.randn(6,4), index=dates, columns=['A','B','C','D'])
#生成DataFrame的第二种方式：通过字典生成
df2 =pd.DataFrame({'A' : 1.,
                   'B' : pd.Timestamp('20160102'),
                    'C' : pd.Series(1,index=list(range(4)),dtype='float32'),
                    'D' : np.array([3] * 4,dtype='int32'),
                    'E' : pd.Categorical(["test","train","test","train"]),
                    'F' : 'foo'})
# 按行排序               
df.sort_index(axis=1, ascending=False)
# 按某一列进行排序
df.sort_values(by=‘B’)
# 第1-3行、A和C列的数据
print(df.ix[:3, ['A', 'C']])
#选择df中A列表大于0的所有的行数据
print(df[df["A"] > 0])
# 添加数据
df['F'] = np.nan
# 剔除df中有Nan的行(也可单独对某一列进行处理)
print(df.dropna(axis=0, how='any')) 
# how={'any', 'all'}：any有一个Nan即剔除；all全部为Nan即剔除。
#将Nan值填充为0
print(df.fillna(value=0))

#显示出pd的A列中值是否为Nan；是为True否为False
print(df["A"].isnull())
#进一步处理
#判断pd中是否有nan，有的话返回True，没有的话返回False。any：只要包含一个true则返回true
print(np.any(pd.isnull(df))==True)
# 将三个df进行合并，按行合并，ignore_index：忽略三个df之前的索引
res = pd.concat([df1, df2, df3], axis=0, ignore_index=True)
df0 = pd.DataFrame({"foo": range(5), "bar": range(5, 10)})
print(df0)

结果

   foo  bar
0    0    5
1    1    6
2    2    7
3    3    8
4    4    9

# add new columns is y
df0['y']=0
print(df0)

out:
   foo  bar  y
0    0    5  0
1    1    6  0
2    2    7  0
3    3    8  0
4    4    9  0

# write data
pd.to_pickle(df0, "dummy.pkl")
# read pickle
udf = pd.read_pickle("t.pkl")
df0.to_csv("t.csv",header=True, index=False)
df0.to_csv("t.txt")
df0.to_excel("t.xlsx")

读取txt

在txt文件中，有时候解析的数据并非逗号或者分号分隔，对于此种情况，正则表达式就能派上用场。sep选项指定正则表达式。
正则表达式

通配符	描述
.	除换行符（\n、\r）之外的任何单个字符
\d	一个数字字符，等价于[0-9]
\D	一个非数字字符，等价于 [^0-9]
\s	任何空白字符，包括空格、制表符、换页符等等，等价于 [\f\n\r\t\v]
\S	任何非空白字符，等价于 [^ \f\n\r\t\v]
\n	换行符
\t	制表符
\uxxxx	用十六进制数字xxxx表示的Unicode字符

例如随意写一个t.txt,元素随机以制表符或空格分隔
a b c d
1 2 4 5
2 3 3 3
3 2 2 2
1 0 10 0

import numpy as np
import pandas as pd
df=pd.read_table('t.txt', sep='\s+')
print(df)

sep=’\s+'表示根据任意空白字符来分割
结果

   a  b   c  d
0  1  2   4  5
1  2  3   3  3
2  3  2   2  2
3  1  0  10  0

写入excel

df0.to_csv("t.csv",header=True, index=False)
df0.to_csv("t.csv")
df0.to_excel("t.xlsx")

xlrd写入excel
有多个数据需要写入多个excel的工作簿，这时需要调用通过ExcelWriter()方法打开一个已经存在的excel表格作为writer，然后通过to_excel()方法将需要保存的数据逐个写入excel，最后关闭writer。

# 创建一个空的excel文件
nan_excle = pd.DataFrame()
nan_excel.to_excel(path + filename)

# 打开excel
writer = pd.ExcelWriter(path + filename)
#sheets是要写入的excel工作簿名称列表
for sheet in sheets:
　　output.to_excel(writer, sheet_name=sheet)

# 保存writer中的数据至excel
# 如果省略该语句，则数据不会写入到上边创建的excel文件中
writer.save()

读取excel

c=pd.read_table('data.csv',nrows=5)  # 只读了前5行
print c
print(c.head())
print ('去掉列名和索引')
print c.values
print '\t'
print ('行列数')
c.values.shape
# when no header
csvframe=pd.read_csv("T.csv",header=None) #读取无表头的csv文件
# skiprows 参数跳过不需要的行：
df=pd.read_csv('t.csv', skiprows=[0, 2, 3])
df=pd.read_excel('a.xlsx', 'Sheet1', index_col=None, na_values=['NA']) 
df.to_excel('foo.xlsx', sheet_name='Sheet1')

使用xlrd读取excel文件：

import xlrd  
w= xlrd.open_workbook('a.xlsx')
sheetnames = w.sheet_names()

sheet1 = w.sheet_by_name(sheetnames[1])  
#通过sheet名称获取到第2张工作表
#或 sheet1 = w.sheets()[1] 
#或 sheet1 = w.sheet_by_index(1)

print('sheet名称列表：' + sheetnames)  
print('第1张工作表名称：' + sheet1.name)
print('列数：' + str(sheet1.ncols))
print('行数：' + str(sheet1.nrows))
print('第2行所有数据：' + str(sheet1.row_values(2))) # 包括列名这一行，从0算起，
print('第2列所有数据：' + str(sheet1.col_values(1)))

read_sql

read_sql_table只能读取数据库的某一个表格，不能实现查询的操作，而read_sql_query只能实现查询操作，不能直接读取数据库中的某个表，read_sql是两者的结合。

pd.read_sql_table(table_name,con,schema=None,index_col=None,coerce_float=True,columns=None)
pd.read_sql_query(sql,con,index_col=None,coerce_float=True)
pd.read_sql(sql,con,index_col=None,coerce_float=True,columns=None)

Demo

import pandas as pd
import numpy as np
data = {'animal': ['cat', 'cat', 'snake', 'dog', 'dog', 'cat', 'snake', 'cat', 'dog', 'dog'],
        'age': [2.5, 3, 0.5, np.nan, 5, 2, 4.5, np.nan, 7, 3],
        'visits': [1, 3, 2, 3, 2, 3, 1, 1, 2, 1],
        'priority': ['yes', 'yes', 'no', 'yes', 'no', 'no', 'no', 'yes', 'no', 'no']}

labels = ['a', 'b', 'c', 'd', 'e', 'f', 'g', 'h', 'i', 'j']

df = pd.DataFrame(data, index=labels)

# 1、计算每个不同种类animal的age的平均数
df.groupby('animal')['age'].mean()
# 2、计算df中每个种类animal的数量
df['animal'].value_counts()
# 3、先按age降序排列，后按visits升序排列
df.sort_values(by=['age', 'visits'], ascending=[False, True])
# 4、将priority列中的yes, no替换为布尔值True, False
df['priority'] = df['priority'].map({'yes': True, 'no': False})
# 5、将animal列中的snake替换为python
df['animal'] = df['animal'].replace('snake', 'python')

# 6、对每种animal的每种不同数量visits，计算平均age，即，返回一个表格，行是aniaml种类，列是visits数量，表格值是行动物种类列访客数量的平均年龄
df.pivot_table(index='animal', columns='visits', values='age', aggfunc='mean')

# 7、有一列整数列A的DatraFrame，删除数值重复的行
#判断是否有重复项用duplicated()函数判断  
#有重复项，则可以用drop_duplicates()移除重复项
df1 = df.drop_duplicates(subset='A')
print(df1)

#8、一个全数值DatraFrame，每个数字减去该行的平均数
df = pd.DataFrame(np.random.random(size=(5, 3)))
print(df)
df1 = df.sub(df.mean(axis=1), axis=0)
print(df1)

#9、一个有5列的DataFrame，求哪一列的和最小
df = pd.DataFrame(np.random.random(size=(5, 5)), columns=list('abcde'))
print(df)
df.sum().idxmin()

#10、给定DataFrame，求A列每个值的前3大的B的和
df = pd.DataFrame({'A': list('aaabbcaabcccbbc'), 
                   'B': [12,345,3,1,45,14,4,52,54,23,235,21,57,3,87]})
print(df)
df1 = df.groupby('A')['B'].nlargest(3).sum(level=0)
print(df1)

#11、给定DataFrame，有列A, B，A的值在1-100（含），对A列每10步长，求对应的B的和
df = pd.DataFrame({'A': [1,2,11,11,33,34,35,40,79,99], 
                   'B': [1,2,11,11,33,34,35,40,79,99]})
print(df)
df1 = df.groupby(pd.cut(df['A'], np.arange(0, 101, 10)))['B'].sum()
print(df1)

#12、给定DataFrame，计算每个元素至左边最近的0（或者至开头）的距离，生成新列y
df = pd.DataFrame({'X': [7, 2, 0, 3, 4, 2, 5, 0, 3, 4]})

izero = np.r_[-1, (df['X'] == 0).to_numpy().nonzero()[0]] # 标记0的位置
idx = np.arange(len(df))
df['Y'] = idx - izero[np.searchsorted(izero - 1, idx) - 1]
print(df)

# 方法二
# x = (df['X'] != 0).cumsum()
# y = x != x.shift()
# df['Y'] = y.groupby((y != y.shift()).cumsum()).cumsum()

# 方法三
# df['Y'] = df.groupby((df['X'] == 0).cumsum()).cumcount()
#first_zero_idx = (df['X'] == 0).idxmax()
# df['Y'].iloc[0:first_zero_idx] += 1

#13、一个全数值的DataFrame，返回最大3值的坐标
df = pd.DataFrame(np.random.random(size=(5, 3)))
print(df)
df.unstack().sort_values()[-3:].index.tolist()

#14、给定DataFrame，将负值代替为同组的平均值
df = pd.DataFrame({'grps': list('aaabbcaabcccbbc'), 
                   'vals': [-12,345,3,1,45,14,4,-52,54,23,-235,21,57,3,87]})
print(df)

def replace(group):
    mask = group<0
    group[mask] = group[~mask].mean()
    return group

df['vals'] = df.groupby(['grps'])['vals'].transform(replace)
print(df)

#15、计算3位滑动窗口的平均值，忽略NAN
df = pd.DataFrame({'group': list('aabbabbbabab'),
                    'value': [1, 2, 3, np.nan, 2, 3, np.nan, 1, 7, 3, np.nan, 8]})
print(df)

g1 = df.groupby(['group'])['value']
g2 = df.fillna(0).groupby(['group'])['value'] 

s = g2.rolling(3, min_periods=1).sum() / g1.rolling(3, min_periods=1).count()

s.reset_index(level=0, drop=True).sort_index()


#16、创建Series s，将2015所有工作日作为随机值的索引
dti = pd.date_range(start='2015-01-01', end='2015-12-31', freq='B') 
s = pd.Series(np.random.rand(len(dti)), index=dti)
s.head(10)

#17、所有礼拜三的值求和
s[s.index.weekday == 2].sum() 
#18、求每个自然月的平均数
s.resample('M').mean()
#19、每连续4个月为一组，求最大值所在的日期
s.groupby(pd.Grouper(freq='4M')).idxmax()
#20、创建2015-2016每月第三个星期四的序列
pd.date_range('2015-01-01', '2016-12-31', freq='WOM-3THU')
# 数据清洗
df = pd.DataFrame({'From_To': ['LoNDon_paris', 'MAdrid_miLAN', 'londON_StockhOlm', 
                               'Budapest_PaRis', 'Brussels_londOn'],
              'FlightNumber': [10045, np.nan, 10065, np.nan, 10085],
              'RecentDelays': [[23, 47], [], [24, 43, 87], [13], [67, 32]],
                   'Airline': ['KLM(!)', '<Air France> (12)', '(British Airways. )', 
                               '12. Air France', '"Swiss Air"']})
print(df)
# FlightNumber列中有些值缺失了，他们本来应该是每一行增加10，填充缺失的数值，并且令数据类型为整数
df['FlightNumber'] = df['FlightNumber'].interpolate().astype(int)
print(df)
#22、将From_To列从_分开，分成From, To两列，并删除原始列
temp = df.From_To.str.split('_', expand=True)
temp.columns = ['From', 'To']
df = df.join(temp)
df = df.drop('From_To', axis=1)
df
#23、将From, To大小写统一
df['From'] = df['From'].str.capitalize()
df['To'] = df['To'].str.capitalize()
df
#24、Airline列，有一些多余的标点符号，需要提取出正确的航司名称。举例：'(British Airways. )' 应该改为 'British Airways'.
df['Airline'] = df['Airline'].str.extract('([a-zA-Z\s]+)', expand=False).str.strip()
df
#25、Airline列，数据被以列表的形式录入，但是我们希望每个数字被录入成单独一列，delay_1, delay_2, …没有的用NAN替代。
delays = df['RecentDelays'].apply(pd.Series)
delays.columns = ['delay_{}'.format(n) for n in range(1, len(delays.columns)+1)]
df = df.drop('RecentDelays', axis=1).join(delays)
df
#26、用 letters = ['A', 'B', 'C'] 和 numbers = list(range(10))的组合作为系列随机值的层次化索引
letters = ['A', 'B', 'C']
numbers = list(range(4))

mi = pd.MultiIndex.from_product([letters, numbers])
s = pd.Series(np.random.rand(12), index=mi)
s
#27、检查s是否是字典顺序排序的
s.index.is_lexsorted()
# 方法二
# s.index.lexsort_depth == s.index.nlevels
#28、选择二级索引为1, 3的行
s.loc[:, [1, 3]]
#29、对s进行切片操作，取一级索引从头至B，二级索引从2开始到最后
s.loc[pd.IndexSlice[:'B', 2:]]
# 方法二
# s.loc[slice(None, 'B'), slice(2, None)]

#30、计算每个一级索引的和（A, B, C每一个的和）
s.sum(level=0)
#方法二
#s.unstack().sum(axis=0)
#31、交换索引等级，新的Series是字典顺序吗？不是的话请排序
new_s = s.swaplevel(0, 1)
print(new_s)
print(new_s.index.is_lexsorted())
new_s = new_s.sort_index()
print(new_s)

夏天望月兔

关注

0
点赞
踩
6

收藏

觉得还不错? 一键收藏
0
评论
pandas文件读取与数据分析-excel,txt,pickle

pandas文件读取与数据分析-excel,txt前言一、read_csv二、使用步骤1.引入库2.读入数据总结欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入提示：文章写完后，目录可以自动生
复制链接

扫一扫