[数据分析笔记] Pandas知识合集 31 - 45

最新推荐文章于 2023-01-04 11:11:38 发布
最新推荐文章于 2023-01-04 11:11:38 发布
阅读量288 收藏
点赞数
分类专栏： 数据分析
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wong_faye/article/details/107400058
版权

文章目录

31.Pandas和数据库查询语言SQL的对比

  • Pandas：Python最流行的数据处理与数据分析的类库
  • SQL：结构化查询语言，用于对MySQL、Oracle等关系型数据库的增删改查

两者都是对“表格型”数据的操作和查询，所以很多语法都能对应起来

对比列表：

  1. SELECT数据查询
  2. WHERE按条件查询
  3. in和not in的条件查询
  4. groupby分组统计
  5. JOIN数据关联
  6. UNION数据合并
  7. Order Limit先排序后分页
  8. 取每个分组group的top n
  9. UPDATE数据更新
  10. DELETE删除数据
df = pd.read_csv("./datas/titanic/titanic_train.csv")
df.head()

在这里插入图片描述
（1）SELECT数据查询

# SQL：
sql = """
    SELECT PassengerId, Sex, Age, Survived
    FROM titanic
    LIMIT 5;
"""

# Pandas
df[["PassengerId", "Sex", "Age", "Survived"]].head(5)

在这里插入图片描述
df.head(5)类似select * from table limit 5，查询所有的字段

（2）WHERE按条件查询

# SQL：
sql = """
    SELECT *
    FROM titanic
    where Sex='male' and Age>=20.0 and Age<=40.0
    LIMIT 5;
"""

# 使用括号的方式，级联多个条件|
condition = (df["Sex"]=="male") & (df["Age"]>=20.0) & (df["Age"]<=40.0)
condition.value_counts()

在这里插入图片描述

df[condition].head(5)

在这里插入图片描述

（3）in和not in的条件查询

df["Pclass"].unique()

array([3, 1, 2], dtype=int64)

# SQL：
sql = """
    SELECT *
    FROM titanic
    where Pclass in (1,2)
    LIMIT 5;
"""

# in 
df[df["Pclass"].isin((1,2))].head()

在这里插入图片描述

# not in 
df[~df["Pclass"].isin((1,2))].head()

在这里插入图片描述
（4）groupby分组统计

单个列的聚合

# SQL：
sql = """
    SELECT 
        -- 分性别的存活人数
        sum(Survived),
        -- 分性别的平均年龄
        mean(Age)
        -- 分性别的平均票价
        mean(Fare)
    FROM titanic
    group by Sex
"""

df.groupby("Sex").agg({"Survived":np.sum, "Age":np.mean, "Fare":np.mean})

在这里插入图片描述
多个列的聚合

# SQL：
sql = """
    SELECT 
        -- 不同存活和性别分组的，平均年龄
        mean(Age)
        -- 不同存活和性别分组的，平均票价
        mean(Fare)
    FROM titanic
    group by Survived, Sex
"""

df.groupby(["Survived", "Sex"]).agg({"Age":np.mean, "Fare":np.mean})

在这里插入图片描述

（5）JOIN数据关联

# 电影评分数据集，评分表
df_rating = pd.read_csv("./datas/ml-latest-small/ratings.csv")
df_rating.head(5)

在这里插入图片描述

# 电影评分数据集，电影信息表
df_movies = pd.read_csv("./datas/ml-latest-small/movies.csv")
df_movies.head(5)

在这里插入图片描述

# SQL：
sql = """
    SELECT *
    FROM 
        rating join movies 
        on(rating.movieId=movies.movieId)
    limit 5
"""

df_merged = pd.merge(left=df_rating, right=df_movies, on="movieId")
df_merged.head(5)

在这里插入图片描述

（6）UNION数据合并

df1 = pd.DataFrame({'city': ['Chicago', 'San Francisco', 'New York City'],
                    'rank': range(1, 4)}) 
df1

在这里插入图片描述

df2 = pd.DataFrame({'city': ['Chicago', 'Boston', 'Los Angeles'],
                    'rank': [1, 4, 5]})
df2

在这里插入图片描述

# SQL：
sql = """
    SELECT city, rank
    FROM df1
    
    UNION ALL
    
    SELECT city, rank
    FROM df2;
"""

# pandas
pd.concat([df1, df2])

在这里插入图片描述

（7）Order Limit先排序后分页

# SQL：
sql = """
    SELECT *
    from titanic
    order by Fare
    limit 5
"""

df.sort_values("Fare", ascending=False).head(5)

在这里插入图片描述
（8）取每个分组group的top n

# 按（Survived，Sex）分组，取Age的TOP 2
df.groupby(["Survived", "Sex"]).apply(
    lambda df:df.sort_values("Age", ascending=False).head(2))

在这里插入图片描述
（9）UPDATE数据更新

df.info()

在这里插入图片描述

# SQL：
sql = """
    UPDATE titanic
    set Age=0
    where Age is null
"""

condition = df["Age"].isna()
condition.value_counts()

在这里插入图片描述

df[condition] = 0
df["Age"].isna().value_counts()

在这里插入图片描述

（10）DELETE删除数据

# SQL：
sql = """
    DELETE FROM titanic
    where Age=0
"""

df_new = df[df["Age"]!=0]
df_new[df_new["Age"]==0]

32.Pandas实现groupby聚合后不同列数据统计

在这里插入图片描述

df = pd.read_csv(
    "./datas/movielens-1m/ratings.dat", 
    sep="::",
    engine='python', 
    names="UserID::MovieID::Rating::Timestamp".split("::")
)

在这里插入图片描述

32.1 聚合后单列-单指标统计

# 每个MovieID的平均评分
result = df.groupby("MovieID")["Rating"].mean()
result.head()

在这里插入图片描述

32.2 聚合后单列-多指标统计

（1）方法1：agg函数传入多个结果列名=函数名形式

result = df.groupby("MovieID")["Rating"].agg(
    mean="mean", max="max", min=np.min
)
result.head()

在这里插入图片描述
（2）方法2：agg函数传入字典，key是column名，value是函数列表

# 每个MoiveID的最高评分、最低评分、平均评分
result = df.groupby("MovieID").agg(
    {"Rating":['mean', 'max', np.min]}
)
result.head()

在这里插入图片描述

result.columns = ['age_mean', 'age_min', 'age_max']
result.head()

在这里插入图片描述

32.3 聚合后多列-多指标统计

（1）方法1：agg函数传入字典，key是原列名，value是原列名和函数元组

# 回忆：agg函数的两种形式，等号代表“把结果赋值给新列”，字典/元组代表“对这个列运用这些函数”
result = df.groupby("MovieID").agg(
        rating_mean=("Rating", "mean"),
        rating_min=("Rating", "min"),
        rating_max=("Rating", "max"),
        user_count=("UserID", lambda x : x.nunique())
)
result.head()

在这里插入图片描述
（2）方法2：agg函数传入字典，key是原列名，value是函数列表

统计后是二级索引，需要做索引处理

result = df.groupby("MovieID").agg(
    {
        "Rating": ['mean', 'min', 'max'],
        "UserID": lambda x :x.nunique()
    }
)
result.head()

在这里插入图片描述

result["Rating"].head(3)

在这里插入图片描述

result.columns = ["rating_mean", "rating_min","rating_max","user_count"]
result.head()

在这里插入图片描述
（3）方法3：使用groupby之后apply对每个子df单独统计

def agg_func(x):
    """注意，这个x是子DF"""
    
    # 这个Series会变成一行，字典KEY是列名
    return pd.Series({
        "rating_mean": x["Rating"].mean(),
        "rating_min": x["Rating"].min(),
        "rating_max": x["Rating"].max(),
        "user_count": x["UserID"].nunique()
    })

result = df.groupby("MovieID").apply(agg_func)
result.head()

在这里插入图片描述

33.Pandas将Excel存入MySQL

df = pd.read_excel("./course_datas/c23_excel_vlookup/学生信息表.xlsx")
df.head()

在这里插入图片描述

# 展示索引的name
df.index.name

df.index.name = "id"
df.head()

在这里插入图片描述
创建sqlalchemy对象连接MySQL
SQLAlchemy是Python中的ORM框架， Object-Relational Mapping，把关系数据库的表结构映射到对象上。

  • 官网：https://www.sqlalchemy.org/
  • 如果sqlalchemy包不存在，用这个命令安装：pip install sqlalchemy
  • 需要安装依赖Python库：pip install mysql-connector-python

可以直接执行SQL语句

from sqlalchemy import create_engine

engine = create_engine("mysql+mysqlconnector://root:123456@127.0.0.1:3306/test", echo=False)

33.1 方法1：当数据表不存在时，每次覆盖整个表

每次运行会drop table，新建表

df.to_sql(name='student', con=engine, if_exists="replace")

engine.execute("show create table student").first()[1]

在这里插入图片描述

print(engine.execute("show create table student").first()[1])

在这里插入图片描述

engine.execute("select count(1) from student").first()

(24, )

engine.execute("select * from student limit 5").fetchall()

在这里插入图片描述

33.2 方法2：当数据表存在时，每次新增数据

场景：每天会新增一部分数据，要添加到数据表，怎么处理？

df_new = df.loc[:4, :]
df_new

在这里插入图片描述

df_new.to_sql(name='student', con=engine, if_exists="append")

engine.execute("SELECT * FROM student where id<5 ").fetchall()

在这里插入图片描述
问题解决：先根据数据KEY删除旧数据

df_new.index

for id in df_new.index:
    ## 先删除要新增的数据
    delete_sql = f"delete from student where id={id}"
    print(delete_sql)
    engine.execute(delete_sql)

在这里插入图片描述

engine.execute("SELECT * FROM student where id<5 ").fetchall()

[ ]

engine.execute("select count(1) from student").first()

(19,)

# 新增数据到表中
df_new.to_sql(name='student', con=engine, if_exists="append")

engine.execute("SELECT * FROM student where id<5 ").fetchall()

在这里插入图片描述

engine.execute("SELECT count(1) FROM student").first()

(24,)

34.Pandas处理Excel复杂多列到多行转换

在这里插入图片描述

file_path = "./course_datas/c39_explode_to_manyrows/读者提供的数据-输入.xlsx"
df = pd.read_excel(file_path)

在这里插入图片描述
（1）把多列合并到一起

# 提取待合并的所有列名，一会可以把它们drop掉
merge_names = list(df.loc[:, "Supplier":].columns.values)
merge_names

在这里插入图片描述

def merge_cols(x):
    """
    x是一个行Series，把它们按分隔符合并
    """
    # 删除为空的列
    x = x[x.notna()]
    # 使用x.values用于合并
    y = x.values
    # 合并后的列表，每个元素是"Supplier" + "Supplier PN"对
    result = []
    # range的步长为2，目的是每两列做合并
    for idx in range(0, len(y), 2):
        # 使用竖线作为"Supplier" + "Supplier PN"之间的分隔符
        result.append(f"{y[idx]}|{y[idx+1]}")
    # 将所有两两对，用#分割，返回一个大字符串
    return "#".join(result)

# 添加新列，把待合并的所有列变成一个大字符串
df["merge"] = df.loc[:, "Supplier":].apply(merge_cols, axis=1)
df

在这里插入图片描述

# 把不用的列删除掉
df.drop(merge_names, axis=1, inplace=True)
df

在这里插入图片描述
（2）使用explode把一列变多行

# 先将merge列变成list的形式
df["merge"] = df["merge"].str.split("#")
df

在这里插入图片描述

# 执行explode变成多行
df_explode = df.explode("merge")
df_explode

在这里插入图片描述
（3）将一列还原成结果的多列

# 分别从merge中提取两列
df_explode["Supplier"]=df_explode["merge"].str.split("|").str[0]
df_explode["Supplier PN"]=df_explode["merge"].str.split("|").str[1]
df_explode

在这里插入图片描述

# 把merge列删除掉，得到最终数据
df_explode.drop("merge", axis=1, inplace=True)
df_explode

在这里插入图片描述

35.Pandas怎样实现groupby聚合后字符串列的合并

需求：

计算每个月的最高温度、最低温度、出现的风向列表、出现的空气质量列表

数据输入
在这里插入图片描述

数据输出
在这里插入图片描述

fpath = "./datas/beijing_tianqi/beijing_tianqi_2018.csv"
df = pd.read_csv(fpath)
df.head(3)

在这里插入图片描述
知识：使用df.info()可以查看每列的类型

df.info()

知识：series怎样从str类型变成int

df["bWendu"] = df["bWendu"].str.replace("℃", "").astype('int32')
df["yWendu"] = df["yWendu"].str.replace("℃", "").astype('int32')
df.head(3)

知识：进行日期列解析，可以方便提取月份

df["ymd"] = pd.to_datetime(df["ymd"])
df["ymd"].dt.month

知识：series可以用Series.unique去重

df["fengxiang"].unique()

知识：可以用",".join(series)实现数组合并成大字符串

",".join(df["fengxiang"].unique())

35.1 方法1

result = (
    df.groupby(df["ymd"].dt.month)
      .agg(
          # 新列名 = (原列名，函数)
          最高温度=("bWendu", "max"),
          最低温度=("yWendu", "min"),
          风向列表=("fengxiang", lambda x : ",".join(x.unique())),
          空气质量列表=("aqiInfo", lambda x : ",".join(x.unique()))
      )
      .reset_index()
      .rename(columns={"ymd":"月份"})
)

在这里插入图片描述

35.2 方法2

def agg_func(x):
    """注意，这个x是每个分组的dataframe"""
    return pd.Series({
        "最高温度": x["bWendu"].max(),
        "最低温度": x["yWendu"].min(),
        "风向列表": ",".join(x["fengxiang"].unique()),
        "空气质量列表": ",".join(x["aqiInfo"].unique())
    })

result = df \
        .groupby(df["ymd"].dt.month) \
        .apply(agg_func) \
        .reset_index() \
        .rename(columns={"ymd":"月份"})

在这里插入图片描述

36.Pandas处理Excel一列变多列

df = pd.read_excel("./course_datas/c42_split_onecolumn_tomany/学生数据表.xlsx")

在这里插入图片描述

def split_func(line):
    line["姓名"], line["性别"], line["年龄"], line["城市"] = line["数据"].split(":")
    return line

df = df.apply(split_func, axis=1)

在这里插入图片描述

df.drop(["数据"], axis=1, inplace=True)

在这里插入图片描述

37.map、apply、applymap、transform

import numpy as np
import pandas as pd
import pymysql
from pyecharts import options as opts
from pyecharts.charts import Bar, Line, Grid
from pyecharts.commons.utils import JsCode
from pyecharts.globals import ThemeType

conn = pymysql.connect(
    host = '127.0.0.1',
    user = 'root',
    password = '123',
    database = 'cloudmusic',
    charset = 'utf8'
)

df = pd.read_sql("select * from playlists", con=conn)

在这里插入图片描述

37.1 map

把对应的数据逐个当作参数传入字典或函数中，得到映射后的值

# 把男的替换为1，女的替换为0

# 使用字典进行映射
df["gender"].map({"男": 1, "女": 0}).head()

在这里插入图片描述

# 使用函数
def gender_map(x):
    gender = 1 if x == "男" else 0
    return gender

df["gender"].map(gender_map).head()

在这里插入图片描述

37.2 apply

apply能够传入功能更为复杂的函数， 对行或列进行操作

# 给tracks_num都加3

def apply_track(x, bias):
    return x + bias

# 以元组的方式传入额外的参数
df["tracks_num"].apply(apply_track, args=(3,)).head()

在这里插入图片描述

# axis=0表示对着一列进行操作
# axis=1表示对着一行进行操作
df[["share_count", "comment_count"]].apply(np.sum, axis=0)

在这里插入图片描述

df[["share_count", "comment_count"]].apply(np.sum, axis=1).head()

在这里插入图片描述

37.3 applymap

对每个单元格进行操作

# 保留两位小数
df[["share_count", "comment_count"]].applymap(lambda x: "%.2f" % x).head()

在这里插入图片描述

37.4 transform

把分组后的计算结果显示在每一行

df["user_type_avg"] = df.groupby("user_type")["tracks_num"].transform("mean")

df[["id", "user_type", "tracks_num", "user_type_avg"]].head(10)

在这里插入图片描述

38.Pandas对日期的处理

在这里插入图片描述

wong_faye
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
数据分析实战之pandas
hahaha66888的博客
01-18 218
一、数据结构Series和Dataframe 1）Series有两个基本结构 index和values。index默认是0，1，2...，可以自己指定索引，也可以用字典的方式创建Sreies x1 = pd.Series([1,2,3,4]) x2 = pd.Series([1,2,3,4],index = ['a','b','c','d']) print(x1) print(x2) 0 ...
Pandas数据分析笔记
01-23
**Pandas数据分析笔记** Pandas是Python编程语言中一个强大的数据处理库，它为数据分析提供了高效、灵活且易于使用的工具。本笔记旨在帮助初学者快速掌握Pandas的基础知识和核心功能，通过12个部分逐步深入，使你...
Python（数据分析篇）--- Pandas框架【三】进阶操作，分组函数，聚合函数，表格合并等
Zachary579的博客
01-14 539
文章目录一、时间模块处理1. 将字符串类型转成标准时间格式2. 时间类型提取3. 时间运算（1）标准时间加减运算（2）整体+时间戳二、分组函数基本分组方法高级分组操作：透视表麻烦分组：交叉表三、聚合函数1、 基本方法2、 特殊函数完成聚合3、transform聚合方法：四、series字符串处理方法五、df中去重的操作一维使用方法：二维使用方法:六、表格合并方法（一）concat：侧重于纵向合并（二）merge：主键合并方法补充：更改表格名称的方法（三）：重叠合并方法 import numpy as np
[原]Movie,mirror in your heart
cedarhood的专栏
07-03 1471
I am fascinated with movies, especially some movies with profound meanings and smart plots. When I am watching a nice movie, I feel like having a fantastic feast. In the feast, I could try every fla
零基础学习SQL -- 基础语句（table）
qq_45736022的博客
01-29 430
在上一章我们介绍了对数据库的操作，主要是对数据库内表的操作。那么这一章的主要内容是介绍对表内数据的操作。 2、对表的操作 首先我们先向表中插入（INSERT）一些数据，在插入数据的时候要注意数据类型以及各种约定，如非空，不可重复等，避免报错 INSERT INTO student VALUES(1, 'Jack', 'Biology', 'M'); INSERT INTO student(stu...
【pandas之聚合函数agg方法实战记录】
Smile_Lai的博客
08-24 2072
在pandas中, 为了统一计算多列数据的不同值不如求和,计数,最大值,最小值,中位数,平均值等,引入agg聚合函数，agg和aggregate两个函数指向同一个方法，使用时写任意一个即可。使用agg聚合函数进行统计各种类型的值时,先要进行groupby分组操作,按照需要统计的某一个维度(某一列)统一进行聚合计算(count,sum,max.mean等)
Pandas学习笔记1-Pandas基础
12-21
本篇学习笔记将深入探讨Pandas的基础知识，包括数据的读取与写入，以及核心数据结构Series和DataFrame。 首先，了解如何查看Pandas的版本。通过导入库并调用`pd.__version__`，可以获取当前安装的Pandas版本，例如`...
数据分析笔记共1页.pdf.zip
11-20
标题中的“数据分析笔记共1页.pdf.zip”表明这是一个关于数据分析的资料压缩包，其中包含的是一份PDF格式的笔记，且笔记内容可能集中在一页上。描述中的内容与标题相同，进一步确认了这是一个压缩文件，其内容是一页...
python数据分析2nd文档笔记加书中代码
03-01
在文档笔记部分，读者可以期待对Python数据分析基础知识的深入解析，包括但不限于数据类型、数据结构、数据清洗、数据聚合、条件查询、时间序列分析等。笔记可能还会涵盖如何使用Pandas进行数据导入和导出，以及如何...
基于协同过滤的电影评分推荐案例及相关代码
小叮当的博客
07-07 2458
文章目录案例介绍数据集加载相似度计算备注User-Based CF 预测评分评分预测公式实现评分预测predict实现预测全部评分predict_all添加过滤规则预测根据预测评分为指定用户进行TOP-N推荐Item-Based CF 预测评分评分预测公式 案例介绍 我们要通过两种最基本的实现方案：User-Based CF和Item-Based CF，利用真实的数据来进行案例的分析演练。数据这边我们采用了MovieLens中的数据集，因为实验环境，对于数据量的要求不能特别高，所以我们可以下载ml-lat
pandas数据分组与聚合
m0_64087341的博客
04-26 5000
数据分组与聚合、数据透视表与交叉表
数据读取操作【Pandas】
qq_46044325的博客
09-10 1156
本文章主要讲述了有关pandas中数据读取的相关操作
Python - pandas - groupby+agg聚合重命名解决办法
热门推荐
摸鱼同学的博客
10-24 1万+
目录 1.数据准备 2.聚合重命名的几种方法 1.数据准备 import pandas as pd df = pd.read_csv('/data/Mall_Customers_nom.csv') df.head() as_index默认为True，即返回以组标签作为索引的对象。下例，Gender作为索引返回。 gender_df = df.groupby("Gender", as_index=True).agg({'CustomerID':'count'}) gender..
pandas读取csv,txt,excel文件
weixin_44706011的博客
07-06 572
准备工作 导包 import pandas as pd 读取csv文件 pandas的 read_excel() 方法 fpath = './datas/ml-latest-small/ratings.csv' # # 使用pd.read_csv读取数据 ratings = pd.read_csv(fpath) 查看DataFrame的具体结构 ratings.head() # 查看前几行数据 userId movieId rating timestamp 0 1 1 4.0 964
个性推荐实战案例--基于协同过滤的电影推荐（附数据集）
最新发布
qq_41810183的博客
01-04 396
以上实现，仅用于实验阶段，因为工业上、或生产环境中，数据量是远超过我们本例中使用的数据量的，而pandas是无法支撑起大批量数据的运算的，因此工业上通常会使用spark、mapReduce等分布式计算框架来实现，我们后面的课程中也是建立在此基础上进行实践的。所以在本节，大家要深刻去学习的是推荐算法的业务流程，以及在具体的业务场景中，如本例的电影推荐，如何实现出推荐算法，并产生推荐结果。但是正如前面所说，推荐算法的思想和理念都是统一的，不论使用什么平台工具、有多大的数据体量，其背后的实现原理都是不变的。
pandas数据分析之分组聚合
oyu~的博客
09-04 2199
pandas的groupby分组对象还可以用自定义的聚合函数可以通过groupby分组对象，将你自己的聚合函数，传入aggregate或agg方法即可grouped = df . groupby([ 'key' ]) #查看分组情况 for group_name , group_data in grouped : print(group_name) print(group_data)1.对每一列数据应用同一个函数2.对某列数据应用不同的函数。
Pandas系列-读取csv/excel/mysql数据
蚂蚁学Python
09-15 712
02. Pandas读取数据 本代码演示： pandas读取纯文本文件 读取csv文件 读取txt文件 pandas读取xlsx格式excel文件 pandas读取mysql数据表 import pandas as pd 1、读取纯文本文件 1.1 读取CSV，使用默认的标题行、逗号分隔符 fpath = "./datas/ml-latest-small/ratings.csv" ...
free movie
weixin_33860147的博客
03-10 1万+
http://hntv.me/watch/black-sea-online-free-d0o.html 转载于:https://www.cnblogs.com/stoneresearch/p/4336423.html
20个Pandas数据实战案例，收获多多
z099164的博客
03-10 2737
今天我们讲一下pandas当中的数据过滤内容 下面小编会给出大概20个案例来详细说明数据过滤的方法，首先我们先建立要用到的数据集，代码如下 import pandas as pd df = pd.DataFrame({ "name": ["John","Jane","Emily","Lisa","Matt"], "note": [92,94,87,82,90], "profession":["Electrical engineer","Mechanical engineer",

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值