pandas读取csv,txt,excel文件

准备工作 导包

import pandas as pd

读取csv文件

pandas的 read_excel() 方法

fpath = './datas/ml-latest-small/ratings.csv'
# # 使用pd.read_csv读取数据
ratings = pd.read_csv(fpath, engine='python', encoding='utf-8')

查看DataFrame的具体结构

ratings.head() # 查看前几行数据

	userId	movieId	rating	timestamp
0	1	1	4.0	964982703
1	1	3	4.0	964981247
2	1	6	4.0	964982224
3	1	47	5.0	964983815
4	1	50	5.0	964982931

查看结构

ratings.shape   # 查看数据的形状，返回(行数、列数)
(100836, 4)

查看所有列名

ratings.columns  # 查看列名列表
Index(['userId', 'movieId', 'rating', 'timestamp'], dtype='object')

index

ratings.index # 查看索引列
RangeIndex(start=0, stop=100836, step=1)
ratings.dtypes  # 每个列名对应的数据类型
userId         int64
movieId        int64
rating       float64
timestamp      int64
dtype: object

---

读取txt文件

# 设置txt文件的存储位置
fpath = './datas/crazyant/access_pvuv.txt'

同样调用read_csv()方法

1. 设置切割对象为 \t
2. 没有头部
3. 设置列名为 a,b,c

txt_demo = pd.read_csv(
    fpath,
    sep='\t',
    header=None,
    names=['a','b','c']
)
txt_demo.head()

	a	b	c
0	2019-09-10	139	92
1	2019-09-09	185	153
2	2019-09-08	123	59
3	2019-09-07	65	40
4	2019-09-06	157	98

---

读取xls文件

fpath = './datas/crazyant/access_pvuv.xlsx'

pandas的 read_excel() 方法

xlsx_demo = pd.read_excel(fpath, engine='python', encoding='utf-8')
xlsx_demo

	日期	PV	UV
0	2019-09-10	139	92
1	2019-09-09	185	153
2	2019-09-08	123	59
3	2019-09-07	65	40
4	2019-09-06	157	98
5	2019-09-05	205	151
6	2019-09-04	196	167
7	2019-09-03	216	176
8	2019-09-02	227	148
9	2019-09-01	105	61

读取数据库数据

import pandas as pd
from sqlalchemy import create_engine

engin = create_engine("mysql+mysqlconnector://root:123456@localhost:3306/rabbit_test?charset=utf8")

sql = '''select * from student'''

# 查询结果
df = pd.read_sql_query(sql, engin)
print(df)

数据库插入数据

# 新建pandas中DataFrame
data = {
    'id': [17, 18, 19],
    "name": ["yanxu", "shuaishuai", "xiaolong"],
    "age": [20, 22, 23],
    "class_id": [1, 2, 3]
}
df = pd.DataFrame(data)

# 将新建的DataFrame储存为mysql中的数据表，index=True储存index列
# if_exists:
# 1.fail:如果表存在，啥也不做
# 2.replace:如果表存在，删了表，再建立一个新表，把数据插入
# 3.append:如果表存在，把数据插入，如果表不存在创建一个表！！
df.to_sql("student", engin, index=False, if_exists="append")
# 或者这种形式
# pd.io.sql.to_sql(df, "student", con=engin, index=False, if_exists="append")
print(df)