NIUKE Python：数据分析

已于 2024-05-18 10:47:23 修改
阅读量1.1k 收藏 25
点赞数 36
分类专栏： 牛客Python 文章标签： python 数据分析 开发语言
于 2024-05-17 02:24:58 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/He_jinian/article/details/138967285
版权

01 查看数据

数据集

现有一个Nowcoder.csv文件，它记录了牛客网的部分用户数据，包含如下字段（字段与字段之间以逗号间隔）：

Nowcoder_ID：用户ID

Level：等级

Achievement_value：成就值

Num_of_exercise：刷题量

Graduate_year：毕业年份

Language：常用语言

知识点

pandas读取
pd.read_csv()
DataFrame.shape
DataFrame.columns
DataFrame.loc( )
DataFrame.iloc( )

题目

DA1 用pandas查看牛客网用户数据

你可以使用pandas打开文件，请输出你看到的前6行数据

输入描述：数据集直接从当前目录下的Nowcoder.csv文件中读取

import pandas as pd 
Nowcoder = pd.read_csv('Nowcoder.csv',sep=',',dtype=object) 
print(Nowcoder.head(6))
pandas读取

pandas是python的一个数据库，在使用数据库的时候需要输入 import pandas as pd 引入，

df = pd.read.csv(''文件路径“）：这是利用pandas数据库读取CSV文件的方法，如果读取EXCEL文件或者其他文件，csv文件换成其他文件的格式

df.dtypes:如果在文件中有字符型数据返回object

df.head(n):表示将前n行数据显示出来，默认是显示前五行

df.tail(n):表示将后n行数据显示出来，默认后五行

最后打印即可

pd.read_csv()

常用参数：

sep ：指定分隔符
header：指定表头行。默认为0，如果没有表头，设置为None

index_col：将某一列设置为索引

usecols：选择读取的列。你可以传入一个列名的列表，或者一个整数列表来表示列的索引

na_values：指定哪些值应被视为NaN（缺失值）

dtype：指定列的数据类型（谨慎使用，具体情况具体分析，容易报错）

data = pd.read_csv('data.csv',sep=',', header=None,index_col=0,usecols=['IntColumn', 'FloatColumn'],na_values=['N/A', 'nan'],dtype={'StringColumn': str, 'IntColumn': int})

DA2 牛客网用户数据集的大小

请直接告诉我们这个数据集的行数与列数

import pandas as pd
Now=pd.read_csv('Nowcoder.csv',sep=',',dtype=object)

print(Now.shape)                     #.shape
print((len(Now),len(Now.columns)))   #.columns
数据集大小
DataFrame.shape
DataFrame.columns

columns表示获取数据框的列，DataFrame.columns属性返回给定Dataframe的列标签

DA3 牛客网的第10位用户

输出这个数据集中第10行的用户的全部信息

import pandas as pd
Now=pd.read_csv('Nowcoder.csv',sep=',',dtype=object)
print(Now.loc[10])
DataFrame.loc( )

loc方法通过行、列的名称或者标签来寻找我们需要的值

# 读取第1行，第B列对应的值
data= data.loc[ 1, "B"]

# 读取第1行到第3行，第B列到第D列这个区域内的值
data= data.loc[ 1:3, "B":"D"]

# 读取第B列中大于6的值
data= data.loc[ data.B > 6]

# 切片操作，选择B，C，D，E四列区域内，B列大于6的值
data1 = data.loc[ data.B >6, ["B","C","D","E"]]
DataFrame.iloc( )

iloc方法通过索引行、列的索引位置[index, columns]来寻找值

# 读取第二行,第二列的值
data= data.iloc[1, 1]

# 按index和columns进行切片操作  读取第2、3行，第3、4列
data= data.iloc[1:3, 2:4]

DA4 统计牛客网部分用户使用语言

输出这个数据集中第10行到第20行的用户的常用语言分别是什么

import pandas as pd
Now=pd.read_csv('Nowcoder.csv',sep=',',dtype=object)
print(Now.loc[10:21,'Language'])

02 数据索引

知识点

isnull()函数　　
df.isnull().any()
df.isnull().sum()
axis=1或0
df.query()
df.apply()
df.head(n)
df.tail(n)

题目

DA5 牛客网用户没有补全的信息

输出每列信息是否有为空值

import pandas as pd
Now=pd.read_csv('Nowcoder.csv',sep=',',dtype=object)
print(Now.isnull().any(axis=0))

isnull:

any：返回是否至少一个元素为真 

all：返回是否所有元素为真

axis=1或0：1表示横轴，方向从左到右；0表示纵轴，方向从上到下

isnull()函数

isnull()函数用来判断缺失值，判断是否为空，返回bool类型的值：True or False

对于以下数据集，运行isnull()

       0   1     2     3     4
 0  63.0  89  58.0  94.0  10.0
 1  44.0  77  66.0  54.0  14.0
 2  25.0  41  93.0  56.0   NaN
 3  43.0  26  27.0  53.0  44.0
 4   NaN  98  45.0  32.0  45.0
 5   NaN  28   NaN  72.0  10.0
 6  69.0  92   NaN  24.0  61.0
 7  51.0  22  35.0   NaN  72.0
 8  83.0  32  93.0  62.0  25.0
 9  48.0  54  83.0  30.0  79.0

df.isnull()

        0      1      2      3      4
 0  False  False  False  False  False
 1  False  False  False  False  False
 2  False  False  False  False   True
 3  False  False  False  False  False
 4   True  False  False  False  False
 5   True  False   True  False  False
 6  False  False   True  False  False
 7  False  False  False   True  False
 8  False  False  False  False  False
 9  False  False  False  False  False

直接使用isnull()并不能很直观的反应缺失值的信息

df.isnull().any()
 0     True
 1    False
 2     True
 3     True
 4     True
dtype: bool

df.isnull().any()会判断哪些列包含缺失值，该列存在缺失值则返回True，反之False

df.isnull().sum()
 0    2
 1    0
 2    2
 3    1
 4    1
 dtype: int64

isnull().sum()就直接告诉了我们每列缺失值的数量

axis=1或0

1表示横轴，方向从左到右；0表示纵轴，方向从上到下

DA6 查看牛客网哪些用户使用Python

如果你想知道哪些人经常使用Python这门语言，并且他们的其他信息是怎么样的，该怎么输出？

import pandas as pd
Now=pd.read_csv('Nowcoder.csv',sep=',',dtype=object)
print(Now.loc[Now.Language=='Python'])
query()方法

允许用户通过字符串表达式来筛选DataFrame中的数据，专门针对DataFrame的列名和值

基本用法
import pandas as pd

# 创建一个示例DataFrame
data = {
    'A': [1, 2, 3, 4],
    'B': [5, 6, 7, 8],
    'C': ['p', 'q', 'r', 's']
}

df = pd.DataFrame(data)

# 使用query()方法筛选A列大于2的行
print(df.query('A > 2'))

使用逻辑运算符
import pandas as pd

# 创建一个示例DataFrame
data = {
    'A': [1, 2, 3, 4],
    'B': [5, 6, 7, 8],
    'C': ['p', 'q', 'r', 's']
}
df = pd.DataFrame(data)

# 筛选A列大于2且B列小于等于7的行
filtered_df = df.query('A > 2 and B <= 7')
print(filtered_df)

使用字符串方法

import pandas as pd

# 创建一个示例DataFrame
data = {
    'A': [1, 2, 3, 4],
    'B': [5, 6, 7, 8],
    'C': ['p', 'qu', 'r', 's']
}
df = pd.DataFrame(data)

# 筛选C列以'q'开头的行
filtered_df = df.query('C.str.startswith("q")')
print(filtered_df)

结合groupby()
import pandas as pd

# 创建一个示例DataFrame
data = {
    'A': [1, 1, 2, 2, 3, 3, 4, 4],
    'B': [5, 6, 6, 7, 7, 8, 8, 9],
    'C': ['p', 'q', 'r', 's', 'p', 'q', 'r', 's']
}
df = pd.DataFrame(data)

# 按A列分组，并在每个组内筛选B列的最大值
grouped_df = df.groupby('A').apply(lambda x: x.query('B == B.max()'))
print(grouped_df)
DataFrame.apply(func, axis=0, broadcast=False, raw=False, reduce=None, args=(), **kwds)

函数的传入参数根据axis来定，比如axis = 1，就会把一行数据作为Series的数据结构传入给自己实现的函数中

在函数中实现对Series不同属性之间的计算，返回一个结果，则apply函数 会自动遍历每一行DataFrame的数据，最后将所有结果组合成一个Series数据结构并返回

import numpy as np
import pandas as pd
 
f = lambda x: x.max()-x.min()
 
t1 = df.apply(f)
t2 = df.apply(f, axis=1)

DA7 牛客网Python用户的成就值

输出牛客网的Python用户的成就值都有多高

import pandas as pd
Now=pd.read_csv('Nowcoder.csv',sep=',',dtype=object)
print(Now.loc[Now.Language=='Python','Achievement_value'])

DA8 文件最后用户的部分数据

假设你想查看该文件最后5行用户的用户ID、等级、成就值、常用语言，请尝试输出

import pandas as pd
Now=pd.read_csv('Nowcoder.csv',sep=',')
print(Now.loc[-5:,['Nowcoder_ID','Level','Achievement_value','Language']])
import pandas as pd
Now=pd.read_csv('Nowcoder.csv',sep=',')
print(Now[['Nowcoder_ID','Level','Achievement_value','Language']].tail(5))
df.head(n)

表示将前n行数据显示出来，默认是显示前五行

df.tail(n)

表示将后n行数据显示出来，默认后五行

03 逻辑运算

知识点

pd.set_option()
        pd.set_option('display.width', 300)
        pd.set_option('display.max_rows', None)  
        pd.set_option('display.max_columns', None) 
条件查询
        df.loc[(df.Language=='C') | (df.Language=='CPP')]
        df.query("Language == 'CPP' or Language == 'C'")

        df.loc[df.Language.isin (["CPP", "C"]) ]
        df.query("Language in ['CPP','C']")
        df [ df['Language'].isin (['CPP','C','C#']) ]

题目

DA9 2020年毕业的人中最喜欢用Java的用户

如果你想知道哪些人是2020年毕业的，并且最常使用的语言是Java的，请输出他们的全部信息

设置显示一行的最大字符宽度为300，显示的最大行数为无限，显示的最大列数为无限

import pandas as pd

Nowcoder = pd.read_csv('Nowcoder.csv',sep=',')
pd.set_option('display.width', 300) # 设置字符显示宽度
pd.set_option('display.max_rows', None) # 设置显示最大行
pd.set_option('display.max_columns', None) # 设置显示最大列

#&
print(Nowcoder[(Nowcoder['Graduate_year']==2020) & (Nowcoder['Language']=='Java')])

# 外面用双引号，里面字符串用单引号
print(Nowcoder.query("Graduate_year==2020 & Language=='Java'"))
pd.set_option()

设置 Pandas 显示选项

pd.set_option('display.width', 300)     #设置显示一行的最大字符宽度为300

pd.set_option('display.max_rows', None)   #设置显示的最大行数为无限

pd.set_option('display.max_columns', None)   #设置显示的最大列数为无限

DA9 牛客网C系用户们的信息

统计使用CPP、C、C#的用户的全部信息

设置显示一行的最大字符宽度为300，显示的最大行数为无限，显示的最大列数为无限

import pandas as pd

pd.set_option('display.width', 300) # 设置字符显示宽度
pd.set_option('display.max_rows', None) # 设置显示最大行
pd.set_option('display.max_columns', None)

df=pd.read_csv('Nowcoder.csv',sep=',')

print(df.loc[(df.Language=='C')|(df.Language=='CPP')|(df.Language=='C#')])

print(Nowcoder[Nowcoder['Language'].isin (['CPP','C','C#'])])

print(Nowcoder.query("Language == 'CPP' or Language == 'C'"))

print(Nowcoder.query("Language in ['CPP','C']"))

print(Nowcoder.loc[Nowcoder.Language.isin(["CPP", "C"])])

DA10 统计牛客网刷题数量500以上的大佬

牛客网刷题数量不低于500题的大佬，他们的等级和成就值是怎么样的

import pandas as pd
df=pd.read_csv('Nowcoder.csv',sep=',')
print(df.loc[df.Num_of_exercise>500,['Level','Achievement_value']])

DA11 按照毕业年份与使用语言筛选牛客网7级用户

牛客网有哪些使用CPP的7级用户，且他们的毕业年份不是2018

设置显示一行的最大字符宽度为300，显示的最大行数为无限，显示的最大列数为无限

import pandas as pd
df=pd.read_csv('Nowcoder.csv',sep=',')

pd.set_option('display.width',300)
pd.set_option('display.max_rows',None)
pd.set_option('display.max_columns',None)

print(df.loc[(df.Language=='CPP') & (df.Level==7) & (df.Graduate_year != 2018)])

04 中级函数

数据集

Nowcoder_ID：用户ID

Level：等级

Achievement_value：成就值

Num_of_exercise：刷题量

Graduate_year：毕业年份

Language：常用语言

Continuous_check_in_days：最近连续签到天数

Number_of_submissions：提交题目数量

Last_submission_time：最后一次提交题目日期

知识点

df.value_counts()
unique()
nunique()
df['column'].median()  中位数
df['Level'].mode().to_frame()  众数
df['columns'].quantile(q=0.25)  分位数
describe()
        count：数量统计，此列共有多少有效值
        unipue：不同的值有多少个
        std：标准差
        min：最小值
        max：最大值
        mean：均值
        25%：四分之一分位数
        50%：二分之一分位数
        75%：四分之三分位数

题目

DA12 牛客网不同语言使用人数

从这个csv文件中找到牛客网各种语言使用的用户分别有多少

import pandas as pd
df=pd.read_csv('Nowcoder.csv',sep=',')
counts=df['Language'].value_counts()
print(counts)
df.value_counts()

返回一个包含唯一值计数的Series，结果对象将按降序排列

用法： df.value_counts(normalize=False,sort=True,ascending=False, bins=None, dropna=True)

normalize:如果为True，则返回的对象将包含唯一值的相对频率
sort:按值排序
ascending:升序排列
bins:不是对值进行计数，而是将它们分组到half-open箱中
dropna:不包括NaN计数

DA13 牛客网用户最近的最长与最短连续签到天数

最长的用户已经连续签到了多久，最短的用户又连续签到了多久

import pandas as pd
df=pd.read_csv('Nowcoder.csv',sep=',')
print(df['Continuous_check_in_days'].max(),df['Continuous_check_in_days'].min(),sep='\n')

DA14 Python用户的平均提交次数

牛客网Python用户都平均提交了多少次代码

import pandas as pd
df=pd.read_csv('Nowcoder.csv',sep=',')
print('{:.1f}'.format(df[df.Language=='Python']['Number_of_submissions'].mean()))

DA15 牛客网用户等级的中位数

统计所有用户等级的中位数，但是为了去掉一些非常不活跃的账号，只统计刷题数量不低于10题的那部分用户

import pandas as pd
df=pd.read_csv('Nowcoder.csv',sep=',')

pd.set_option('display.width',300)
pd.set_option('display.max_rows',None)
pd.set_option('display.max_columns',None)

cond=df.Num_of_exercise>=10
median=df[cond]['Level'].median()

print(int(median))
df['column'].median()  中位数

DA16 用户常用语言有多少

这个文件中记录了多少种常用语言，一并输出这些语言的名字

import pandas as pd
Nowcoder = pd.read_csv('Nowcoder.csv', sep=',')

print(len(Nowcoder.Language.unique()))
print(list(Nowcoder.Language.unique()))
unique()

返回去重后的不同值

nunique()

直接放回不同值的个数

DA17 牛客网最多的用户等级

找到文件中等级的众数

import pandas as pd
df= pd.read_csv('Nowcoder.csv', sep=',')

grade=df['Level'].mode().to_frame()
print(grade)
df['Level'].mode().to_frame()  众数

DA18 用分位数分析牛客网用户活动

依次输出用户成就值与最近连续签到天数的四分之一分位数以及刷题量与代码提交次数的四分之三分位数

import pandas as pd
df= pd.read_csv('Nowcoder.csv', sep=',')

print(df[['Achievement_value','Continuous_check_in_days']].quantile(q=0.25))
print(df[['Num_of_exercise','Number_of_submissions']].quantile(q=0.75))
df['columns'].quantile(q=0.25)  分位数
describe()

desc = c.describe(include='all')  # include='all',代表对所有列进行统计，如果不加这个参数，则只对数值列进行统计

统计值变量说明

        count：数量统计，此列共有多少有效值
        unipue：不同的值有多少个
        std：标准差
        min：最小值
        max：最大值
        mean：均值
        25%：四分之一分位数
        50%：二分之一分位数
        75%：四分之三分位数
   
print(df.describe().loc["75%",["Num_of_exercise","Number_of_submissions"]])

DA19 牛客网大佬之间的差距

从这份文件中输出7级用户中最高成就值与最低成就值之差

import pandas as pd
df= pd.read_csv('Nowcoder.csv', sep=',')

df=df.loc[df.Level==7]
print(int(df.Achievement_value.max())-int(df.Achievement_value.min()))

DA20 牛客用户刷题量的方差与提交次数的标准差

用户刷题量的方差以及提交代码次数的标准差

import pandas as pd
df=pd.read_csv('Nowcoder.csv',sep=',')

print(df.Num_of_exercise.var().round(2))
print(df.Number_of_submissions.std().round(2))

DA21 大佬用户成就值比例

7级大佬的成就值各自占据了所有人成就值总和的百分之多少

import pandas as pd
df=pd.read_csv('Nowcoder.csv',sep=',')

seven=df[df['Level']==7]['Achievement_value']#筛选出7级用户的成就值
total=df['Achievement_value'].sum()#计算出所有用户的成就值之和
print(seven/total)

DA22 牛客网用户最高的正确率

最高的正确率能有多少，只统计刷题数量大于10题的用户

import pandas as pd
df=pd.read_csv('Nowcoder.csv',sep=',')

a=df[df['Num_of_exercise']>10]['Num_of_exercise']
b=df[df['Num_of_exercise']>10]['Number_of_submissions']

print((a/b).max().round(3))

DA23 统计牛客网用户的名字长度

统计这些用户的名字长度

import pandas as pd
df=pd.read_csv('Nowcoder.csv',sep=',')

print(df['Name'].str.len())

05 数据清洗

知识点

df.dropna()
df.fillna()
 df.duplicated(subset=None, keep='first')
df.drop_duplicates(subset=None, *, keep='first', inplace=False, ignore_index=False) 
pd.to_datetime()

题目

DA24 去掉信息不全的用户

运营同学正在做用户调研，为了保证调研的可靠性，想要去掉那些信息不全的用户，即去掉有缺失数据的行，请去掉后输出全部数据

import pandas as pd

pd.set_option('display.width',300)
pd.set_option('display.max_rows',None)
pd.set_option('display.max_columns',None)

df=pd.read_csv('Nowcoder.csv',sep=',',dtype=object)
df.dropna(axis=1)
print(df)
df.dropna()

找到DataFrame类型数据的空值（缺失值），将空值所在的行/列删除后，将新的DataFrame作为返回值返回

dropna(axis=0, how='any', thresh=None, subset=None, inplace=False)

axis：轴。0或'index'，按行删除；1或'columns'，按列删除。

how：筛选方式。‘any’，表示该行/列只要有一个以上的空值，就删除该行/列；‘all’，表示该行/列全部都为空值，就删除该行/列

thresh：非空元素最低数量，默认为None。如果该行/列中，非空元素数量小于这个值，就删除该行/列

subset：子集。列表，元素为行或者列的索引。如果axis=0或者‘index’，subset中元素为列的索引；如果axis=1或者‘column’，subset中元素为行的索引。由subset限制的子区域，是判断是否删除该行/列的条件判断区域。

inplace：是否原地替换。布尔值，默认为False。如果为True，则在原DataFrame上进行操作，返回值为None。

DA25 修补缺失的用户数据

使用当前的最大年份填充缺失的毕业年份（“Graduate_year”），用Python填充缺失的常用语言（“Language”），用成就值的均值（四舍五入保留整数）填充缺失的成就值（“Achievement_value”）

import pandas as pd

df = pd.read_csv("Nowcoder.csv", sep=",")
pd.set_option("display.width", 300)  # 设置字符显示宽度
pd.set_option("display.max_rows", None)  # 设置显示最大行
pd.set_option("display.max_columns", None)

a=df['Graduate_year'].max()
b=round(df['Achievement_value'].mean(),0)

df['Graduate_year']=df['Graduate_year'].fillna(a)
df['Language']=df['Language'].fillna('Python')
df['Achievement_value']=df['Achievement_value'].fillna(b)

print(df)
df.fillna()

使用指定的方法填充NA/NaN值

fillna(value=None, method=None, axis=None, inplace=False, limit=None, downcast=None, **kwargs)

value：用于填充的空值的值

method： {'backfill', 'bfill', 'pad', 'ffill', None}, default None。定义了填充空值的方法， pad / ffill表示用前面行/列的值，填充当前行/列的空值， backfill / bfill表示用后面行/列的值，填充当前行/列的空值

axis：轴。0或'index'，表示按行删除；1或'columns'，表示按列删除。

inplace：是否原地替换。布尔值，默认为False。如果为True，则在原DataFrame上进行操作，返回值为None。

limit：int， default None。如果method被指定，对于连续的空值，这段连续区域，最多填充前 limit 个空值（如果存在多段连续区域，每段最多填充前 limit 个空值）。如果method未被指定， 在该axis下，最多填充前 limit 个空值（不论空值连续区间是否间断）

downcast：dict, default is None，字典中的项为，为类型向下转换规则。或者为字符串“infer”，此时会在合适的等价类型之间进行向下转换，比如float64 to int64 if possible。

DA26 解决牛客网用户重复的数据

系统错误将很多相同用户的数据输出了多条，导致文件中有很多重复的行，请先检查每一行是否重复，然后输出删除重复行后的全部数据

import pandas as pd
df=pd.read_csv('Nowcoder.csv',sep=',')

pd.set_option('display.width',300)
pd.set_option('display.max_rows',None)
pd.set_option('display.max_columns',None)

print(df.duplicated())
print(df.drop_duplicates())

df.duplicated(subset=None, keep='first')

返回 bool series 表示每行是否是重复的

  • subset：column 标签
  • keep：
    • first，默认，标记除第一次出现以外的重复项为 True
    • last，标记除最后一次出现以外的重复项为 True
    • False，标记所有重复出现的为 True
df.drop_duplicates(subset=None, *, keep='first', inplace=False, ignore_index=False)

返回删除重复项后的 dataframe

  • subset，与 duplicated 中的 subset 参数含义相同
  • keep，与 duplicted 中的 subset 参数相同，first 则表示只保留第一次出现的 item
  • inplace，是否原地修改
  • ignore_index，如果为 True，则去重后的 index 重置为 0,1，...，n-1

DA27 统一最后刷题日期的格式

输出用户ID、等级以及统一后的日期（日期格式统一为yyyy-mm-dd）

import pandas as pd
df=pd.read_csv('Nowcoder.csv',sep=',',dtype=object)

pd.set_option('display.width',300)
pd.set_option('display.max_rows',None)
pd.set_option('display.max_columns',None)

df['Last_submission_time']=pd.to_datetime(df['Last_submission_time'],format=('%Y-%m-%d'))

print(df.loc[:,['Nowcoder_ID','Level','Last_submission_time']])
pd.to_datetime()

pandas.to_datetime(arg, errors=’raise’, dayfirst=False, yearfirst=False, utc=None, box=True, format=None, exact=True, unit=None, infer_datetime_format=False, origin=’unix’)

  • arg：需要转化为日期类型的数据
  • errors：默认为’raise’，表示如果存在无法转换的数据则抛出异常（ValueError），也可以设置为’coerce’，表示转换失败的数据将被设置为NULL，或者设置为’ignore’，表示忽略转换失败的数据
  • dayfirst/yearfirst：默认为False/False，表示传入数据的月份位于字符串的哪一位。设置dayfirst=True时，表示日期在月份之前；设置yearfirst=True时，表示年份在月份之前
  • utc：默认为None，表示将时区设置为UTC，也可以设置其他时区
  • box：默认为True，表示返回的日期类型数据是否为pandas.Timestamp或pandas.DatetimeIndex，True表示为Timestamp或DatetimeIndex，False表示仅仅只是numpy.ndarray类型
  • format：解析日期的格式字符串。 被解析的字符串中的每个元素必须单独对应格式字符串中的某个格式
  • exact：默认为True，可以提高性能。但是，如果用户自定义日期格式字符串，则必须将其设置为False，否则此参数将被忽略
  • unit：仅在被转换的数据是一个UNIX时间戳时使用，表示时间的单位
  • infer_datetime_format：默认为False，表示是否启用推断方式解析日期。这将会运用推断方式使pandas快速解析性能更高

06 Json处理

DA28 将用户的json文件转换为表格形式

现有一个Nowcoder.json文件读入了这个json文件，将其转换为pandas的DataFrame格式

import pandas as pd
df=pd.read_json('Nowcoder.json',dtype=dict)
pd.set_option('display.width',300)
pd.set_option('display.max_rows',None)
pd.set_option('display.max_columns',None)
print(pd.DataFrame(df))
JSON转换

将其转换成dataframe格式：

data_=pd.Dataframe(data)

07 分组聚合

数据集

user_id:用户id

question_id：问题编号

result：运行结果

date：练习日期

知识点

题目 

DA29 牛客网的每日练题量

请你统计2021年12月每天练习题目的数量

import pandas as pd
df=pd.read_csv('nowcoder.csv',sep=',',index_col='date')
data=df.groupby('date')['question_id'].count()
print(data)

DA30 牛客网用户练习的平均次日留存率

计算用户练习的平均次日留存率

import pandas as pd
# 读文件
df = pd.read_csv('nowcoder.csv', sep=',')
# 转换日期格式
df['date'] = pd.to_datetime(df['date']).dt.date # .dt.date得到精确到天的日期
# 拷贝原表于新表df1
df1 = df.copy()
# 将新表的时间+1天（往后推一天）
df1['date'] = df1['date'] + pd.Timedelta(days=1)
# 将原表df和新表合并得到新表total，内连接取交集，键/连接字段 是 userid和date
total = pd.merge(df,df1, how='inner', on=['user_id','date'])
# 统计合并后剩下的第二天还会再来练习的人数n
n = total['user_id'].count()
# 统计原表中的用户数n1
n1 = df['user_id'].count()
# 计算次日留存率
print(round(n / n1 ,2))

DA3

牛客网每日正确与错误的答题次数

较难07.31%

DA4

牛客网答题正误总数

中等19.73%

DA5

牛客网连续练习题目3天及以上的用户

较难03.86%

DA6

牛客网不同毕业年份的大佬

中等12.75%

DA7

不同等级用户语言使用情况

中等14.85%

DA8

总人数超过5的等级

中等13.33%

08 合并

合并

DA1

统计运动会项目报名人数

中等16.12%

DA2

统计运动会项目报名人数(二)

中等27.48%

DA3

多报名表的运动项目人数统计

较难13.85%

DA4

统计职能部分运动会某项目的报名信息

较难05.56%

DA5

运动会各项目报名透视表

中等09.14%

DA6

合并用户信息表与用户活跃表

简单10.56%

DA7

两份用户信息表格中的查找

简单20.05%

09 排序

排序

DA1

某店铺消费最多的前三名用户

简单10.36%

DA2

按照等级递增序查看牛客网用户信息

简单14.32%

010 函数

函数

DA1

某店铺用户消费特征评分

较难08.25%

DA2

筛选某店铺最有价值用户中消费最多前5名

较难06.28%

He_jinian
关注
  • 36
    点赞
  • 踩
  • 25
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
C++后台开发学习路线（已多人拿下腾讯后台开发）
Linuxhus的博客
09-03 2327
首先介绍下自己吧，本人系统架构师，曾供职著名创业公司系统架构师，微软亚洲研究院、创维集团。著有多个软件专利，参与多个开源软件维护。ntytcp,ntyco的founder，github follow人数1.4k。
牛客的代码leetcode代码区别-niuke-:牛科测试
06-30
牛客的代码leetcode代码区别 niuke- niuke test
Python数据分析基础篇【Python操作Mysql数据库】
weixin_61378281的博客
08-10 53
MySQL 是最流行的关系型数据库管理系统，在 WEB 应用方面 MySQL 是最好的 RDBMS(Relational Database Management System：关系数据库管理系统)应用软件之一。本文需要读者拥有SQL功底和Python第三方模块使用的知识。
Python Scrapy项目创建
那谁家的博客
05-26 1227
在使用Scrapy开发爬虫时，通常需要创建一个Scrapy项目。通过如下命令即可创建 Scrapy 项目： scrapy startproject ZhipinSpider 在上面命令中，scrapy 是Scrapy 框架提供的命令；startproject 是 scrapy 的子命令，专门用于创建项目；ZhipinSpider 就是要创建的项目名。 scrapy 除提供 startproject 子命令之外，它还提供了 fetch（从指定 URL 获取响应）、genspider（生成蜘蛛...
打气球的最大分数
m0_52765511的博客
11-26 126
打气球的最大分数，详细思路分析，暴力递归（只要两个参数）改动态规划
001--20200408刷题
weixin_42288943的博客
04-08 126
1、答案链接 有一个数组a[N]顺序存放0~N-1，要求每隔两个数删掉一个数，到末尾时循环至开头继续进行，求最后一个被删掉的数的原始下标位置。以8个数(N=7)为例:｛0，1，2，3，4，5，6，7｝，0->1->2(删除)->3->4->5(删除)->6->7->0(删除),如此循环直到最后一个数被删除。 package co...
niuke:来自纽克的问题
05-01
纽克码 购买Apple，JumpStone：skip dp 合唱：最大值和最小值的dp DivideField：dp greedy LuckyBag：DFS回溯和修剪 MixedColor，NotTwo：数学 RestoreArray：分治和置换
牛客的代码leetcode代码区别-niuke:牛客
06-30
牛客的代码leetcode代码区别 niuke
牛客的代码leetcode代码区别-NiuKe:牛科
06-30
牛客的代码leetcode代码区别 NiuKe a project to finish the niuke high level project by ssm + redis
如何mysql数据导入到mongdb
codemami的博客
05-30 607
由于MySQL和MongoDB的数据模型不同（例如，MySQL使用关系模型，而MongoDB使用文档模型），你可能需要转换数据的格式。使用MongoDB驱动程序：你也可以使用MongoDB的官方驱动程序（如Python的pymongo）来编写脚本，将数据直接插入到MongoDB中。注意：如果你的JSON文件包含多个文档，并且它们不是作为数组的一部分（即每个文档都在其自己的行上），则需要使用--jsonArray选项。手动转换：对于小型数据集，你可以手动编辑SQL或CSV文件，将其转换为JSON格式。
在linux服务器上使用tensorboard，错误记录
最新发布
wwwwzm的博客
05-30 297
1. 使用tensorboard命令时，不是从虚拟环境中找tensorboard，而是从（全局路径）中找（/home/ljx/.local/lib/python3.9/site-packages/tensorboard）是一个在 Unix-like 系统（包括 Linux 和 macOS）的命令行界面（如 Bash shell）中使用的命令。2.使用which命令， 查看使用的tensorboard的路径，发现使用的是全局路径，不是虚拟环境路径。是一个特殊的变量，它定义了操作系统搜索可执行文件的目录。
Pandas03
Bianca427的博客
05-27 1048
聚合计算时新增一列计算最大值与平均值的差值df.groupby('district').agg(最低工资=('salary', 'min'), 最高工资=('salary', 'max'), 平均工资=('salary', 'mean'), 最大值与均值差值=('salary', myfunc)).rename_axis(["行政区"])
深入理解Python中None和““的区别
m0_54701273的博客
05-27 649
在Python的世界里，None和空字符串""经常被用作默认值或用于表示缺省值的情况。尽管它们在某些语境下似乎可互换，但实际上None和""在Python中有着根本的区别。
生命在于学习——Python人工智能原理（2.1）
易水哲的博客
05-27 1356
机器学习是指从有限的观测数据中学习出具有一般性的规律。
ModuleNotFoundError: No module named '_ctypes' when Python3
牛奔的博客
05-28 240
前言 运行 python 报错：ModuleNotFoundError: No module named '_ctypes' when using Value from module multiprocessing 这个错误是由于缺少 Python 的 ctypes 模块导致的。ctypes 模块是 Python 标准库的一部分,但在某些 Linux 发行版上可能需要单独安装。 解决 如果使用 ...
爬虫面试手册
u010926168的博客
05-24 1658
爬虫岗位要求和常见面试题
ModuleNotFoundError: No module named '_sqlite3' when Python3
牛奔的博客
05-28 234
前言 运行 python 报错：ModuleNotFoundError: No module named '_sqlite3' 解决 重新编译安装 python ./configure --enable-loadable-sqlite-extensions make make install
ModuleNotFoundError: No module named '_lzma' when building python
牛奔的博客
05-28 182
前言 运行 python 报错：ModuleNotFoundError: No module named '_lzma' when building python 解决 sudo apt-get install lzma sudo apt-get install liblzma-dev sudo apt-get install libbz2-dev 重新编译安装 python ./configu...
免费，Python蓝桥杯等级考试真题--第15级（含答案解析和代码）
05-28 342
Python中蓝桥杯算是含金量和难度最大的比赛之一，网上可以找到不少真题，不过要么零零散散要么付费才能解锁，而且大都是没答案和解析的，给学习者造成很大困扰。因此本文档打算整理历年等级考试、STEMA、省赛、国赛真题卷和解析，供大家学习参考。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值