Pandas数据读取

Pandas数据读取

Pandas需要先读取表格类型的数据，然后进行分析。

数据类型	说明	Pandas读取方法
csv、tsv、txt	用逗号分隔、tab分割的纯文本文件	pd.read_csv
excel	xls或者xlsx文件	pd.read_excel
mysql	关系型数据库表	pd.read_sql

读取纯文本文件（csv）

# 读取csv，使用默认的标题行、逗号分隔符
fpath = "E:\Data\mysqlData\\basedata_logs.csv"
# 使用pd.read_csv读取数据
ratings = pd.read_csv(fpath)
# 查看前几行数据
# print(ratings.head())
# 查看数据的形状（行数，列数）
# print(ratings.shape)
# 查看列名列表
# print(ratings.columns)
# 查看索引列
# RangeIndex(start=0, stop=2843, step=1)
# print(ratings.index)
# 查看每列的数据类型
print(ratings.dtypes)

读取txt文件

# 读取txt文件，自己制定分隔符、列名
fpath = "E:\Data\mysqlData\\basedata_logs.txt"
base_logs = pd.read_csv(
    fpath,
    sep=",",
    header=None,
    names=['operation', 'operate_time', 'operate_id', 'operate_params']
)
print(base_logs.head())

读取excel文件

# 读取excel文件 Use pip or conda to install openpyxl.
# 需要引入openyxl库
fpath = "E:\Data\mysqlData\\basedata.xlsx"
basedata = pd.read_excel(fpath)
print(basedata.head())

读取mysql

# 读取mysql数据库
conn = pymysql.connect(
       host="localhost",
       user="root",
       password="root",
       database="wht",
       charset="utf8"
 )
mysql_page = pd.read_sql("select * from basedata limit 5", con=conn)
print(mysql_page)
conn.close()