Pandas载入txt、csv、Excel、JSON、数据库文件讲解及实战（超详细 附源码）

需要源码和数据集请点赞关注收藏后评论区留言私信~~~

对于数据分析而言，数据大部分来源于外部数据，如常用的CSV文件、Excel文件和数据库文件等。Pandas库将外部数据转换为DataFrame数据格式，处理完成后再存储到相应的外部文件中

Pandas 常用的导入格式：import pandas as pd

1 文本文件读取

文本文件是一种由若干行字符构成的计算机文件，它是一种典型的顺序文件

txt文件：是Windows操作系统上附带的一种文本格式，文件以.txt为后缀

CSV文件：是Comma-Separated Values的缩写，用半角逗号（’,’）作为字段值的分隔符。文件以纯文本形式存储表格数据

Pandas中使用read_table来读取文本文件

pandas.read_table(filepath_or_buffer, sep=’\t’, header=’infer’, names=None, index_col=None, dtype=None, engine=None, nrows=None)

Pandas中使用read_csv函数来读取CSV文件

pandas.read_csv(filepath_or_buffer, sep=’，’, header=’infer’, names=None, index_col=None, dtype=None, engine=None, nrows=None)  

表5-1 read_table和read_csv常用参数及其说明

 下面利用read_csv函数读取csv文件

 

df1 = pd.read_csv("data//sunspots.csv")
 #读取CSV文件到DataFrame中
print(df1.sample(5))

df2 = pd.read_table("data//sunspots.csv",sep = ",")
 #使用read_table，并指定分隔符
print("------------------")
print(df2.sample(5))
df3 = pd.read_csv("data//sunspots.csv",names = ["a","b"])
 #文件不包含表头行，允许自动分配默认列名，也可以指定列名
print("------------------")
print(df3.sample(5))

2. 文本文件的存储

 文本文件的存储和读取类似，结构化数据可以通过pandas中的to_csv函数实现以CSV文件格式存储文件

DataFrame.to_csv(path_or_buf = None, sep = ’,’, na_rep, columns=None, header=True, index=True, index_label=None, mode=’w’, encoding=None)

2 读/写Excel文件

1. Excel文件的读取

Pandas提供了read_excel函数读取“xls”和“xlsx”两种excel文件，其格式为

pandas.read_excel(io, sheetname, header=0, index_col=None, names=None, dtype)

read_excel函数和read_table函数的部分参数相同

表5-2  Pandas读写Excel文件

读取excel文件

 

xlsx = "data//data_test.xlsx"
df1 = pd.read_excel(xlsx,"Sheet1")
print(df1)
#也可以直接利用： 
df2 =  pd.read_excel("data//data_test.xlsx","Sheet1")
print("-------------------------------")
print(df2)

 2. Excel文件的存储

将文件存储为Excel文件，可使用to_excel方法。其语法格式如下

DataFrame.to_excel(excel_writer=None, sheetname=None’, na_rep=”, header=True, index=True, index_label=None, mode=’w’, encoding=None)

与 to_csv方法的常用参数基本一致，区别之处在于指定存储文件的文件路径参数excel_writer，增加了一个sheetnames参数，用来指定存储的Excel sheet的名称，默认为sheet1

3 JSON数据的读取与存储

JSON (JavaScript Object Notation) 数据是一种轻量级的数据交换格式，因其简洁和清晰的层次结构使其成为了理想的数据交换语言。JSON数据使用大括号来区分表示并存储

1. Pandas读取JSON数据

Pandas通过read_json函数读取JSON数据。读取代码如下

import pandas as pd
df=pd.read_json(‘FileName’)
df=df.sort_index

2. JSON数据的存储

Pandas使用pd.to_json实现将DataFrame数据存储为JSON文件

4 读取数据库文件

1.Pandas读取Mysql数据要读取Mysql中的数据，首先要安装Mysqldb包 然后进行数据文件读取 读取代码如下

import pandas as pd
import MySQLdb
conn = MySQLdb.connect(host = host,port = port,user = username,passwd = password,db = db_name) 
df = pd.read_sql('select * from table_name',con=conn)  conn.close() 

2. Pandas读取SQL sever中的数据，首先要安装pymssql包 然后进行数据文件读取 读取代码如下

import pandas as pd
import pymssql
conn = pymssql.connect(host=host, port=port ,user=username, password=password, database=database) 
df = pd.read_sql("select * from table_name",con=conn)  conn.close() 

创作不易 觉得有帮助请点赞关注收藏~~~