点击上方“早起Python”，关注并星标公众号
和我一起玩Python
本文精心挑选在数据处理中常见的120种操作并整理成习题发布。并且每一题同时给出Pandas与R语言解法，同时针对部分习题给出了多种方法与注解。本系列一共涵盖了数据处理、计算、可视化等常用操作，动手敲一遍代码一定会让你有所收获！
1 创建DataFrame 题目 ：将下面的字典创建为DataFrame"grammer":[
import numpy # R中没有字典概念，故直接创建dataframe/tibblegrammer #> 1R语言解法
which(dfIndex([R语言解法
names(df)
# [1] "grammer" "score"rename(columns={df %
rename(popularity = score)df# 神方法table# pandas里有一个插值方法，就是计算缺失值上下两数的均值R语言解法
library(Hmisc)
index is.na(df$popularity))
df$popularity (unlist(df[index-1, 2] +
df[index+1, 2]))/2)[df['popularity'] > 3]df %>%
filter(popularity > 3)
# 等价于
df[df$popularity > 3,] # 这种方法跟pandas很相似df[!duplicated(df$grammer),]'popularity'].mean()#> 第一种'grammer'].to_list()unlist(df$grammer)
# [1] "Python" "C" "Java" "GO" NA "SQL" "PHP" "Python"df#R对EXCEL文件不太友好df.shape
# (8, 2)dim(df)
# [1] 8 2dflibrary(dplyr)
df %>%
filter(popularity > 3 & popularity <7)
# 等价于
df[(df$popularity > 3) & (df$popularity <7),]'popularity']df %'popularity'] == df[df %>%
filter(popularity == max(popularity))
# 同理也有类似pandas的方法
df[df$popularity == max(df$popularity),]df.tail()# R中head和tail默认是6行，可以指定数字df = df.drop(labels=df.shape[1],]row = {'Perl') "popularity",inplace=df %'grammer'] = df[library(Hmisc)
library(stringr)
df$grammer $grammer,'R')
str_length(df$grammer)
df$len_str $grammer)
第二期：数据处理基础
21 数据读取 题目 ：读取本地EXCEL数据 难度 ： ⭐ Python解法import pandas #R语言处理excel不友好，直接读取日期时间数据会变成实数
df# 默认是6行，可指定行数
# 方法一：apply + 自定义函数library(stringr)
df$salary %
str_replace_all('k','') %>%
str_split('-',simplify = T) %>%
apply(2,as.numeric) %>%
rowMeans() * 1000educationdfdf %>%
for #转化后该列属性是 字符串，R中对时间格式要求严格class 'pandas.core.frame.DataFrame'>dfstr(df)
# 内存查看需要用到其他的库
library(pryr)
object_size(df)
# 6.66 kBdfsummary(df)
bins = [#用ifelse也可以'salary', ascending=df %>%df[33,]'salary'])median(df$salary)
# [1] 17500
# Jupyter运行matplotlib成像需要运行魔术命令library(ggplot2)
dfdf %>%del df[df 4]'test'] = df[df %
mutate(test = paste0(df$education,df$createTime))"test1"] = df[df %'salary']].apply(df %>%
summarise(delta = max(salary) - min(salary)) %>%
unlist()
# delta
# 41500pd[1,],dfdf[8,])objectdf.dtypes
# createTime object
# education object
# salary int64
# test object
# test1 object
# dtype: objectstr(df)
# tibble [135 x 5] (S3: spec_tbl_df/tbl_df/tbl/data.frame)
# $ createTime: chr [1:135] "03-16" "03-16" "03-16" "03-16" ...
# $ education : chr [1:135] "本科" "本科" "不限" "本科" ...
# $ salary : num [1:135] 27500 30000 27500 16500 15000 14000 23000 12500 7000 16000 ...
# $ test : chr [1:135] "本科03-16" "本科03-16" "不限03-16" "本科03-16" ...
# $ test1 : chr [1:135] "27500本科" "30000本科" "27500不限" "16500本科" ...dfdf %>%
tibble::column_to_rownames('createTime')df1 = pd.DataFrame(pd.Series(np.random.randint(df1 135,function(n) {
replicate(n,sample(1:10,1))
})
# 列名暂时不一样，下一题重命名df= pd.concat([df,df1],axis=df %
rename(`0` = df1)
# 非常规命名需要用``包裹变量名"new"] = df[df %
mutate(new = salary - `0`)df.isnull().values.any()
# False# 这个包的结果呈现非常有趣dfas.double(df2$salary)'salary'] > df %>%119dftable(df$education)'education'].nunique()length(unique(df$education))
# [1] 4
rowsums = df[['salary','new']].apply(np.sum, axis=1)
res = df.iloc[np.where(rowsums > 60000)[0][-3:], :]df[df$salary + dfimport pandas # 转存csv后再读备注
请将答案中路径替换为自己机器存储数据的绝对路径，51—80相关习题与该数据有关
52 数据查看 题目 ：查看数据前三行 难度 ： ⭐ 期望结果
dfhead(df,1dfis.na(df))
df[is.na(df$日期),][327]行位置有缺失值for i in df.columnlibrary(glue)
for (i in names(df)){
if(sum(is.na(df[,'日期'])) != 0){
res1 is.na(df[,i]))
res2 ',')
print(glue('列名："{i}", 第[{res2}]行有缺失值'))
}
}0, how=df <备注
0-行操作(默认)，
# Jupyter运行matplotliblibrary(ggplot2)
'font.sans-serif'] = [df %>%
ggplot() +
geom_line(aes(日期,`收盘价(元)`), size=1.2, color='steelblue') +
geom_line(aes(日期,`开盘价(元)`), size=1.2, color='orange') +
ylab(c('价格(元)'))
# 这种画出来没有图例，当然可以手动添加，但为了映射方便可以用另一种方法
library(tidyr)
df %>%
select(日期,`开盘价(元)`,`收盘价(元)`) %>%
pivot_longer(c(`开盘价(元)`,`收盘价(元)`),
names_to='type',values_to='price') %>%
ggplot(aes(日期,price,color=type)) +
geom_line(size=1.2) +
scale_color_manual(values=c('steelblue','orange')) +
theme_bw() +
theme(
panel.grid.major = element_blank(),
panel.grid.minor = element_blank(),
legend.title = element_blank(),
legend.position = c(0.86, 0.9)
)
'涨跌幅(%)'])df %>%
dfdf %>%temp = pd.DataFrame(columns = df.columns.to_list())temp 
for index,row #换手率这一列属性为chr，需要先强转数值型'换手率(%)'] == df %>%备注
通过上一题我们发现换手率的异常值只有--
64 数据处理 题目： 重置data的行号 难度 ： ⭐ Python解法df = df.reset_index(drop=rownames(df)
# 如果是tibble则索引始终是按顺序备注
有时我们修改数据会导致索引混乱
65 异常值处理 题目： 删除所有换手率为非数字的行 难度 ： ⭐ ⭐⭐ Python解法lst = []
for index,row in df.iterrows():
if type(row[13]) != float:
lst.append(index)
df.drop(labels=lst,inplace=True)is.na(
dfdf$`换手率(%)` as.double(df$`换手率(%)`)
ggplot(df) +
geom_density(aes(`换手率(%)`))dfdf %>%datadf %>%dfdf %>%
column_to_rownames(var='日期')题目：以5个数据作为一个数据滑动窗口，在这个5个数据上取均值(收盘价)
难度 ： ⭐ ⭐ ⭐ Python解法dflibrary(RcppRoll)题目：以5个数据作为一个数据滑动窗口，计算这五个数据总和(收盘价)
难度 ： ⭐ ⭐ ⭐ Python解法dfdf %>%题目：将收盘价5日均线、20日均线与原始数据绘制在同一个图上
难度 ： ⭐ ⭐ ⭐ 期望结果
dfdf %>%题目：按周为采样规则，取一周收盘价最大值
难度 ： ⭐ ⭐ ⭐ Python解法'日期')library(plyr)
res "1 week")),"[")
res_max res,function(n)max(n$`收盘价(元)`),simplify=TRUE)
as.data.frame(res_max)题目：绘制重采样数据与原始数据
难度 ： ⭐ ⭐ ⭐ 期望结果
dfres %>%dflag(df,dflead(df,df#R中没有expanding完全一致的函数
'expanding Open mean']=df[library(tidyr)
df %>%
cbind(res) %>%
dplyr::rename(Opening_Price = `开盘价(元)`,
Expanding_Open_Mean = cummean) %>%
select(日期,Opening_Price,Expanding_Open_Mean) %>%
pivot_longer(c(Opening_Price,Expanding_Open_Mean),
names_to = 'type',
values_to ='price') %>%
ggplot(aes(日期,price,color = type)) +
geom_line(size=1.2) +
scale_color_manual(values=c('orange','steelblue')) +
theme_bw() +
theme(
panel.grid.major = element_blank(),
panel.grid.minor = element_blank(),
legend.title = element_blank(),
legend.position = c(0.9, 0.9)
)'former 30 days rolling Close mean']=df[df %
mutate(avg_20 = roll_mean(`收盘价(元)`,n = 20,align="right",fill = NA),
upper_bound = avg_20 + 2 * roll_sd(`收盘价(元)`,n = 20,align="right",fill = NA),
lower_bound = avg_20 - 2 * roll_sd(`收盘价(元)`,n = 20,align="right",fill = NA))
'收盘价(元)', df %>%
dplyr::rename(former_30_days_rolling_Close_mean = avg_20,
Closing_Price = `收盘价(元)`) %>%
select(日期,Closing_Price,
former_30_days_rolling_Close_mean,upper_bound,lower_bound) %>%
pivot_longer(c(Closing_Price,former_30_days_rolling_Close_mean,upper_bound,lower_bound),
names_to = 'type',
values_to ='price') %>%
ggplot(aes(日期,price,color = type)) +
geom_line(size=1.2) +
scale_color_manual(values=c('steelblue','orange','red','green')) +
theme_bw() +
theme(
panel.grid.major = element_blank(),
panel.grid.minor = element_blank(),
legend.title = element_blank(),
legend.position = c(0.6, 0.2)
)import pandas "tidyverse")tem = np.random.randint(function(n) {tem = np.arange(0,tem = np.random.normal(20,df = pd.concat([df1,df2,df3],axis=df 0 1 2
0 95 0 0.022492
1 22 5 -1.209494
2 3 10 0.876127
3 21 15 -0.162149
4 51 20 -0.815424
5 30 25 -0.303792
...............df = pd.concat([df1,df2,df3],axis=df names(df) 0,npsummary(unlist(df))'col1',df %
dplyr::rename(col1 = 1,
col2 = 2,
col3 = 3)
# 或者用类似pandas的方法
names(df) 'col1','col2','col3')'col1'][$col1 %'col1'].count(unlist(c(df$col1,dfnpwhich(df[dfdf %>%dfdf %>%'col1'].take([[c(1,10,15) + 1,1]res = np.diff(np.0))'col1',rowMeans(df)'col2'], np.ones(library(RcppRoll)"col3",inplace=df %
arrange(col3)'col1'] > df[df$col1 > 50,1] '高''col1']-df[# 可以利用概念计算r'C:\Users\chenx\Documents\Data Analysis\数据1.csv',encoding=#一步读取文件的指定列用readr包或者原生函数都没办法r'C:\Users\chenx\Documents\Data Analysis\数据2.csv',library(readr)
df2 '数据2.csv') %>%
mutate('学历要求',
'薪资水平' = ifelse(
薪资水平 > 10000,'高','低'))期望结果
::20, :][[seq(1,dim(df2)[1],20),]df = pd.DataFrame(np.random.random(期望结果
Python解法
10)**10)
'data': tibble(data = str_glue(dfdf %>%dfdf %>%'key1': [on=["key1" = c(备注
只保存df1的数据
Python解法'left', by = c(r'C:\Users\chenx\Documents\Data Analysis\数据1.csv',encoding="GBK")) %>%where(df.secondType == df.thirdType)df %>%'salary'] > df[df %>%
mutate(nrow = rownames(.)) %>%
filter(salary > mean(salary)) %>%
select(nrow) %>%
filter(row_number() == 3)
# # A tibble: 1 x 1
# nrow
#
# 1 6dfdf %>%
summarise(salary_sqrt = sqrt(salary))'split'] = df[df %
mutate(split = str_split(linestaion,'_'))1]length(df)
# [1] 54dfgrep(values=[df %
group_by(positionId) %>%
dplyr::summarise(salary = mean(salary),
score = mean(score)) %>%
as.data.frame(.)
rownames(df) NULL
tibble::column_to_rownames(df,var='positionId')"salary",res %"salary"df %>%dfdf %>%
以上就是玩转数据处理120题全部内容，如果能坚持走到这里的读者，我想你已经掌握了处理数据的常用操作，并且在之后的数据分析中碰到相关问题，希望武装了Pandas的你能够从容的解决！
另外我已将习题与源码整理成电子版，后台回复pandas即可下载，我们下个专题见，拜拜～
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
