1.数据存取
基本概念
1.pandas内置10多种数据源读取函数,常见的CSV,EXCEL
2.pandas读取出来的数据直接是数据框格式
3.可以快速地将数据保存为CSV或者EXCEL格式
4.参数较多,多数时候用默认参数,可以自行设置
5.读取CSV时,常用编码格式为utf-8,gbk,gbk2312等
utf-8,gbk区别
数据读取
1.CSV
import os
import pandas as pd
os.getcwd()
os.chdir(r'C:\Users\wangyaqian\Desktop')
#读取
df = pd.read_csv('004X_RSH_FYJ_1000_CHOUSHUI_01.csv',encoding ='gbk'\
,nrows = 10,header = 0)#默认utf-8,nrows读取前十行,header = 0设定第零行为表头
df.head(5)#查看前5行
df.tail(5)#查看最后5行
df.dtypes#查看每列的数据类型
#保存
#index = False不写入索引
#encoding = 'utf-8'
df.to_csv('希望保存的路径+文件名',index = False,encoding ='utf-8')
2.EXCEL
#读取
pd.read_excel('004X_RSH_FYJ_1000_CHOUSHUI_01.xlsx',encoding ='utf-8'\
,sheet_name = 0, nrows = 10,header = 0)
#表格需要指定工作页,默认索引0,1,2...例如sheet_name = 0;也可以给名称sheet_name = ‘表单名称’
#批量读取同一表格中的多张工作页(前提是多张工作页中内容相同)
for i in sheet_name:
data = pd.read_excel('004X_RSH_FYJ_1000_CHOUSHUI_01.xlsx',encoding ='utf-8',sheet_name=i)
data_all = pd.concat([data_all,data], axis = 0, ignore_index = True)
2.数据筛选
import pandas as pd
import numpy as np
import os
os.getcwd()
os.chdir(r'C:\Users\wangyaqian\Desktop\Excel学习包\格式设置')
order = pd.read_excel(r'第2讲单元格格式设置.xlsx',sheet_name =1, encoding = 'utf-8')
order.head(5)
#loc标签索引,左闭右闭
a = order[['ERPCO号','所属区域']][:5]#第一个列表为列名,第二个为行索引
b = order.loc[0:2,['ERPCO号','所属区域']]#[0,2]行,'ERPCO号','所属区域'列
c = order.loc[order['所属区域'] == '常熟']#选择'所属区域'为'常熟'的输出
#iloc默认行列索引,左开右闭
d = order.iloc[2:7,2:3]#2-6行,2列
e = order.iloc[2:7,[2,4]]#2-6行,2和4列
print(b,'\n',e)