R语言处理数据——janitor包的介绍及使用

已于 2023-04-10 11:00:11 修改
阅读量1k 收藏 2
点赞数
文章标签： r语言 excel 开发语言
于 2023-04-10 10:59:03 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_46605479/article/details/130053390
版权

janitor功能介绍

janitor可以检查并清理脏数据，适用于R语言用户。主要功能如下：
1、完美格式化数据框的列名；
2、创建并格式化1-3个变量的频率表，可以看作是一个改进的table()函数；
3、提供用于清理和检查数据框的其他工具

制表和报告功能类似于SPSS和excel的常用功能。janitor是一个对标tidyverse的包。具体来讲，它与%>%这一pipeline配合的很好，并针对清理readr和readxl包中的数据进行了优化。

janitor的安装

方法一

install.packages("janitor")

方法二

install.packages("devtools")
devtools::install_github("sfirke/janitor")

janitor的使用

具体使用方法可以点击链接。以下是快速入门例子。

清理脏数据

例如下图中的数据
在这里插入图片描述
需要清理的部分主要有：
1、顶部标题；
2、列名；
3、包含excel格式但不包含数据的行和列；
4、单列中两种不同格式的日期（MM/DD/YYYY和数字）
5、“Certification”列中的值分布不一致
以下是读入R后的数据展示：

library(readxl); library(janitor); library(dplyr); library(here)

roster_raw <- read_excel(here("dirty_data.xlsx")) # available at https://github.com/sfirke/janitor
glimpse(roster_raw)
#> Rows: 14
#> Columns: 11
#> $ `Data most recently refreshed on:` <chr> "First Name", "Jason", "Jason", "Alicia", "Ada", "Desus", "Chien-…
#> $ ...2                               <chr> "Last Name", "Bourne", "Bourne", "Keys", "Lovelace", "Nice", "Wu"…
#> $ ...3                               <chr> "Employee Status", "Teacher", "Teacher", "Teacher", "Teacher", "A…
#> $ `Dec-27 2020`                      <chr> "Subject", "PE", "Drafting", "Music", NA, "Dean", "Physics", "Che…
#> $ ...5                               <chr> "Hire Date", "39690", "43479", "37118", "38572", "42791", "11037"…
#> $ ...6                               <chr> "% Allocated", "0.75", "0.25", "1", "1", "1", "0.5", "0.5", NA, "…
#> $ ...7                               <chr> "Full time?", "Yes", "Yes", "Yes", "Yes", "Yes", "Yes", "Yes", NA…
#> $ ...8                               <chr> "do not edit! --->", NA, NA, NA, NA, NA, NA, NA, NA, NA, NA, NA, …
#> $ ...9                               <chr> "Certification", "Physical ed", "Physical ed", "Instr. music", "P…
#> $ ...10                              <chr> "Certification", "Theater", "Theater", "Vocal music", "Computers"…
#> $ ...11                              <chr> "Active?", "YES", "YES", "YES", "YES", "YES", "YES", "YES", NA, "…

现在，从列名开始清理它。名字清洗有两种方式。make_clean_names()对字符向量进行操作，可在数据导入期间使用:

roster_raw_cleaner <- read_excel(here("dirty_data.xlsx"), 
                                 skip = 1,
                                 .name_repair = make_clean_names)
glimpse(roster_raw_cleaner)
#> Rows: 13
#> Columns: 11
#> $ first_name        <chr> "Jason", "Jason", "Alicia", "Ada", "Desus", "Chien-Shiung", "Chien-Shiung", NA, "J…
#> $ last_name         <chr> "Bourne", "Bourne", "Keys", "Lovelace", "Nice", "Wu", "Wu", NA, "Joyce", "Lamarr",…
#> $ employee_status   <chr> "Teacher", "Teacher", "Teacher", "Teacher", "Administration", "Teacher", "Teacher"…
#> $ subject           <chr> "PE", "Drafting", "Music", NA, "Dean", "Physics", "Chemistry", NA, "English", "Sci…
#> $ hire_date         <dbl> 39690, 43479, 37118, 38572, 42791, 11037, 11037, NA, 36423, 27919, 42221, 34700, 4…
#> $ percent_allocated <dbl> 0.75, 0.25, 1.00, 1.00, 1.00, 0.50, 0.50, NA, 0.50, 0.50, NA, NA, 0.80
#> $ full_time         <chr> "Yes", "Yes", "Yes", "Yes", "Yes", "Yes", "Yes", NA, "No", "No", "No", "No", "No"
#> $ do_not_edit       <lgl> NA, NA, NA, NA, NA, NA, NA, NA, NA, NA, NA, NA, NA
#> $ certification     <chr> "Physical ed", "Physical ed", "Instr. music", "PENDING", "PENDING", "Science 6-12"…
#> $ certification_2   <chr> "Theater", "Theater", "Vocal music", "Computers", NA, "Physics", "Physics", NA, "E…
#> $ active            <chr> "YES", "YES", "YES", "YES", "YES", "YES", "YES", NA, "YES", "YES", "YES", "YES", "…

clean_names()是make_clean_names()的便捷版本，可用于管道data.frame工作流。clean_names()的等效步骤如下:

roster_raw <- roster_raw %>%
  row_to_names(row_number = 1) %>%
  clean_names()

现在dataframe有了干净的列名。进一步整理：

roster <- roster_raw %>%
  remove_empty(c("rows", "cols")) %>%
  remove_constant(na.rm = TRUE, quiet = FALSE) %>% # remove the column of all "Yes" values 
  mutate(hire_date = convert_to_date(hire_date, # handle the mixed-format dates
                                     character_fun = lubridate::mdy),
         cert = dplyr::coalesce(certification, certification_2)) %>%
  select(-certification, -certification_2) # drop unwanted columns
#> Removing 1 constant columns of 10 columns total (Removed: active).

roster
#> # A tibble: 12 × 8
#>    first_name   last_name employee_status subject    hire_date  percent_allocated full_time cert          
#>    <chr>        <chr>     <chr>           <chr>      <date>     <chr>             <chr>     <chr>         
#>  1 Jason        Bourne    Teacher         PE         2008-08-30 0.75              Yes       Physical ed   
#>  2 Jason        Bourne    Teacher         Drafting   2019-01-14 0.25              Yes       Physical ed   
#>  3 Alicia       Keys      Teacher         Music      2001-08-15 1                 Yes       Instr. music  
#>  4 Ada          Lovelace  Teacher         <NA>       2005-08-08 1                 Yes       PENDING       
#>  5 Desus        Nice      Administration  Dean       2017-02-25 1                 Yes       PENDING       
#>  6 Chien-Shiung Wu        Teacher         Physics    1930-03-20 0.5               Yes       Science 6-12  
#>  7 Chien-Shiung Wu        Teacher         Chemistry  1930-03-20 0.5               Yes       Science 6-12  
#>  8 James        Joyce     Teacher         English    1999-09-20 0.5               No        English 6-12  
#>  9 Hedy         Lamarr    Teacher         Science    1976-06-08 0.5               No        PENDING       
#> 10 Carlos       Boozer    Coach           Basketball 2015-08-05 <NA>              No        Physical ed   
#> 11 Young        Boozer    Coach           <NA>       1995-01-01 <NA>              No        Political sci.
#> 12 Micheal      Larsen    Teacher         English    2009-09-15 0.8               No        Vocal music

检查脏数据

寻找重复项

在数据清理期间，使用get_dupes()来识别和检查重复记录。让我们看看是否有教师被多次列出:

roster %>% get_dupes(contains("name"))
#> # A tibble: 4 × 9
#>   first_name   last_name dupe_count employee_status subject   hire_date  percent_allocated full_time cert     
#>   <chr>        <chr>          <int> <chr>           <chr>     <date>     <chr>             <chr>     <chr>    
#> 1 Chien-Shiung Wu                 2 Teacher         Physics   1930-03-20 0.5               Yes       Science …
#> 2 Chien-Shiung Wu                 2 Teacher         Chemistry 1930-03-20 0.5               Yes       Science …
#> 3 Jason        Bourne             2 Teacher         PE        2008-08-30 0.75              Yes       Physical…
#> 4 Jason        Bourne             2 Teacher         Drafting  2019-01-14 0.25              Yes       Physical…

是的，有些老师会出现两次。我们应该在计算员工人数之前解决这个问题。

制表工具

一个变量(或两个或三个变量的组合)可以用tabyl()制成表格。生成的data.frame可以用一套adorn_函数进行调整和格式化，以便在报告中快速分析和打印漂亮的结果。对于非表类型，adorn_函数也很有帮助。

tabyl()

与table()类似，但是支持管道，基于数据帧，并且功能齐全。

tabyl有两种用法:

1、在向量上，当对单个变量制表时:tabyl(roster$subject)
2、在data.frame上，指定1、2或3个要制表的变量名:roster %>% tabyl(subject，employee_status)。
这里，data.frame通过%>%管道传入；这允许在分析管道中使用tabyl

一个变量:

roster %>%
  tabyl(subject)
#>     subject n    percent valid_percent
#>  Basketball 1 0.08333333           0.1
#>   Chemistry 1 0.08333333           0.1
#>        Dean 1 0.08333333           0.1
#>    Drafting 1 0.08333333           0.1
#>     English 2 0.16666667           0.2
#>       Music 1 0.08333333           0.1
#>          PE 1 0.08333333           0.1
#>     Physics 1 0.08333333           0.1
#>     Science 1 0.08333333           0.1
#>        <NA> 2 0.16666667            NA

两个变量：

roster %>%
  filter(hire_date > as.Date("1950-01-01")) %>%
  tabyl(employee_status, full_time)
#>  employee_status No Yes
#>   Administration  0   1
#>            Coach  2   0
#>          Teacher  3   4

三个变量：

roster %>%
  tabyl(full_time, subject, employee_status, show_missing_levels = FALSE)
#> $Administration
#>  full_time Dean
#>        Yes    1
#> 
#> $Coach
#>  full_time Basketball NA_
#>         No          1   1
#> 
#> $Teacher
#>  full_time Chemistry Drafting English Music PE Physics Science NA_
#>         No         0        0       2     0  0       0       1   0
#>        Yes         1        1       0     1  1       1       0   1

装饰tabyls

adorn_函数修饰这些制表调用的结果，以实现快速、基本的报告。以下是一些增强报告汇总表的功能:

roster %>%
  tabyl(employee_status, full_time) %>%
  adorn_totals("row") %>%
  adorn_percentages("row") %>%
  adorn_pct_formatting() %>%
  adorn_ns() %>%
  adorn_title("combined")
#>  employee_status/full_time         No        Yes
#>             Administration   0.0% (0) 100.0% (1)
#>                      Coach 100.0% (2)   0.0% (0)
#>                    Teacher  33.3% (3)  66.7% (6)
#>                      Total  41.7% (5)  58.3% (7)

在您的RMarkdown报告中直接将它输入到knitter::kable()中。

这些模块化装饰可以分层，以减少R在快速、信息丰富的计数方面相对于Excel和SPSS的不足。从tabyls简介中了解更多关于tabyl()和adorn _ 函数的信息。

小八四爱吃甜食
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
R语言数据处理：tidyr包学习
m0_56444893的博客
06-09 2484
在R语言中，tidyr包的应用 tidyr主要提供了一个类似Excel中数据透视表 (pivottable)的功能; gather和spread函数将数据在长格式和宽格式之间相互转化，应用在比如稀疏矩阵和稠密矩阵之间的转化; separate和union方法提供了数据分组拆分、合并的功能，应用在nominal数据的转化上 R将整洁数据定义为：每个变量的数据存储在自身的列中，每个观测值的数据存储在其自身的行中。整洁数据是进行数据再加工的基础。...
janitor:轻快项目的管理维护者实用程序
05-21
依存关系 管理员默认使用 ，它不是python标准库的一部分。 但是，这是一个可选的依赖项，因为您可以定义管理员是否应使用MD5或SHA1 ： $ janitor -m $ janitor -s 但是，如果您想使用默认（最快）的xxHash算法，则应通过软件包安装程序进行安装： $ sudo pip install pyhashxx $ janitor 通过命令行使用它 首先创建一个样本配置文件： $ janitor -g 在版本控制同步之后，您应该仅运行更新： $ janitor -u 要仅增加版本（例如minor序列），应使用： $ janitor -i=minor 有关参数的更多详细信息： $ janitor -h 通过python使用它 您不仅可以通过CLI来通过python使用janitor 。 当使用基于python的构建系统时，这可能非常有用，例如：
pyjanitor:清理用于数据清理的API。 R包Janitor的Python实现
04-28
pyjanitor pyjanitor是R包的Python实现，并提供用于清除数据的clean API。 为什么要看门人？ pyjanitor最初是R程序包的一个端口，已从一组便捷的数据清理例程演变为使用范式的实验。 数据预处理通常由一系列步骤组成，这些步骤涉及将原始数据转换为可理解/可用的格式。 这些步骤系列必须按一定顺序运行才能取得成功。 我们以基本数据文件为起点，并对它执行操作，例如删除空/空行，将其替换为其他值，添加/重命名/删除数据列，过滤行等。 更正式地讲，这些步骤以及它们之间的关系和依赖性通常称为有向无环图（DAG）。 pandas API对于Python数据科学生态系统而言是无价的，并且作为API的一部分实现了方法子集的方法链接。 例如，通过适当的pd.DataFrame方法调用可以完成重置索引（ .reset_index() ），删除空值（ .dropna()
【vulnhub】DC9
开心星人的博客
07-15 633
使用自定义的一系列序列号来“敲门”，使系统开启需要访问的服务端口，才能对外访问。不使用时，再使用自定义的序列号来“关门”，将端口关闭，不对外监听。80端口开放，22端口filtered(端口状态filtered端口状态filtered由于报文无法到达指定的端口，nmap不能够决定端口的开放状态。因为是POST传参的，所以我们想用bp抓个包，保存为1.txt，然后使用sqlmap的-r参数即可。在janitor的加目录下发现一个字典，加入到我们的密码字典里面去，继续爆破ssh服务。...
那些被完全低估了的 Python 库
程序员小麦的博客
09-18 93
在这篇文章中，我们想展示一些不同于流行的东西。这些都是深夜浏览GitHub的感悟，以及同事们分享的压箱底东西。这些软件包中的一些是非常独特的，使用起来很有趣的Python包。
R-应用流行病学和公共卫生-7.数据清洗
lixueliuwei的博客
04-06 697
本手册强调使用tidyverseR 包系列中的函数。下面列出了本页中演示的基本 R 函数。 其中许多函数属于dplyrR 包，它提供“verb”函数来解决数据操作挑战（名称是对“data frame-plier”）的引用。dplyr是tidyverseR 包系列的一部分（其中还包括ggplot2、tidyr、stringr、tibble、purrr、magrittr和forcats等）。 Function Utility Package %>% “pipe” (pa...
R语言处理数据——dplyr包的使用（1）
小八四爱吃甜食的博客
04-20 178
首先根据以下两个数据集进行处理：attend.csv主要需求如下：两个数据有共同的列，需要合并他们；根据weekattend获得10个最佳的团队；绘制图表，根据playoff和non-playoff选择top10的球队作图。
R语言安装R包的方法，mac、windows、linux安装R包常见问题与解决方法
青笋的博客
05-10 6055
个人感觉在linux下R包使用conda来安装最为方便，如果搜索不到的话，建议在conda的官网上先搜索，看看这个包在那个channel中，然后再用对应的命令进行下载安装。R 包是 R 语言扩展库，可以扩展 R 语言的功能。R 包的原理是将函数和数据等打包成一个库，用户可以通过安装 R 包并加载后直接调用其中的函数和数据，从而加快编程和分析的速度，提升编程效率和数据处理能力。如果把R比作是沃土的话，那么R包就是鲜花，开源共享的开发者社区提供了很多功能丰富的R包，方便使用者充分利用R语言完成工作。
R语言dplyr包：高效数据处理函数（filter、group_by、mutate、summarise）
热门推荐
关注我，你就是我的电子朋友咯！
12-13 7万+
R语言dplyr包的数据整理、分析函数用法文章连载NO.01 在日常数据处理过程中难免会遇到些难处理的，选取更适合的函数分割、筛选、合并等实在是大快人心！ 利用dplyr包中的函数更高效的数据清洗、数据分析，及为后续数据建模创造环境；本篇涉及到的函数为filter、filter_all()、filter_if()、filter_at()、mutate、group_by、select、summa...
R语言空间数据分析学习笔记2——数据基本操作
GeoSuper的博客
11-30 1850
本节将会学习如何利用地理空间数据进行连接、筛选等操作，首先我们加载软件环境和数据。 sf：(simple features, standard way to encode spatial vector data tidyverse：The tidyverse package is designed to make it easy to install and load core packages from the tidyverse in a single command janitor：jan
datagovmy-janitor:data.gov.my 的数据管理员脚本
06-06
此存储库包含管理员或数据准备脚本，用于将 data.gov.my 数据集转换为漂亮整洁的 JSON 和 OLAP 多维数据集以用于分析目的 用法 初始化构建： git clone https://github.com/kagesenshi/datagovmy-janitor.git cd ...
s3-janitor:CLI实用程序可处理Cloudformation留下的孤立S3存储桶
04-06
s3管理员CLI实用程序可处理Cloudformation留下的孤立S3存储桶用法$ npm install -g s3-janitor$ janitor COMMANDrunning command...$ janitor (-v | --version | version)s3-janitor/0.1.0 darwin-x64 node-v14.16.0...
janitor:Blesta插件
05-12
Blesta：看门人 小型Blesta插件可自动清理废弃的订单，发票和服务。 安装 从我们的下载最新发行版本，然后只需上传janitor文件夹到~/... 首先，任务将取消订单，然后，它将使用语言文件中所述的消息使发票无效。 此cron
R version 4.1.0 安装ggplot2，options(pkgType=“binary“) install.packages(“ggplot2“)
chenhepg的博客
04-20 451
ggplot2
一个联合均值与方差模型的R包——dglm
最新发布
统计学小王子的博客
04-24 563
使其适用于处理具有复杂异方差性（方差随均值变化）的数据。dglm 包提供了一个强大的框架，能够扩展传统的广义线性模型（GLM）以包含额外的分布族（这里，predict() 函数使用拟合后的模型和新数据进行预测，type = “response” 表示预测的是响应变量的值。下面的代码生成了响应变量 y，其均值由 x 控制，方差由另一个预测变量 z 控制。这个例子将使用模拟数据，包括响应变量和两个预测变量，来模拟和解释使用过程。下面，我将提供一个实例，演示如何在正态分布假设下使用 dglm 包拟和。
R语言 数据的整理与清洗（第二篇）
yangyulu1998的博客
04-23 686
1、重新编码分类变量 categorical variable。也可以使用R的字符串搜索和替换函数来重新映射字符向量中的值。测量值<7的标记为“低”，将>=7的标记为“高”假设要添加一个新列，其中包含三个度量值的总和。的值，它也会匹配，而替换将是。如果没有它们，如果有一个名为。第二种方法：用R内置函数来做。是为了确保整个字符串匹配。或从现有数据列计算新数据列。最简单的方法是使用来自于。最简单的方法是使用来自。，并把它放在一个新列中。也可以用R的内置函数来。
R语言数据分析案例
youyouxiong的博客
04-16 1391
在R语言中进行数据分析通常涉及数据的导入、清洗、探索、建模和可视化等步骤。
R语言中的execl数据转plink
weixin_51885039的博客
04-20 457
我们在这个表中添加一个 bmi 数据方式，写好数据格式就可以了。点击这个黄色的按钮就可以弹出外部链接的方式。我们可以从数据表格中选出需要的数据方式。r语言数据方式必须创建的这个方式。bmi 我们也可以写成公式的方式。我们创建一个三行三列的数据方式。在后面可以加入 n 到参数。创建一个数据框的方式。
在excel中，如何在一个表中删除和另一个表中相同的数据？
Niu929的博客
04-23 726
现在有A表，是活动全部人员的姓名和学号，B表是该活动中获得优秀人员的姓名和学号，怎么提取没有获得优秀人员的名单？这里提供两个使用excel基础功能的操作方法。
用Jav实现一个包含各个邻域职业及其编号属性(从1开始)和中文名属性(字符串类型)的枚举类型(不少于50种职业)，并提供静态方法供其他类调用
03-24
当然可以！以下是实现该要求的代码： ```java public enum Career { PROGRAMMER(1, "程序员"), DESIGNER(2, "设计师"), PRODUCT_MANAGER(3, "产品经理"), TEACHER(4, "教师"), ENGINEER(5, "工程师"), SALESPERSON(6, "销售人员"), MARKETER(7, "市场人员"), ACCOUNTANT(8, "会计"), DOCTOR(9, "医生"), NURSE(10, "护士"), LAWYER(11, "律师"), JOURNALIST(12, "记者"), WRITER(13, "作家"), ARCHITECT(14, "建筑师"), MUSICIAN(15, "音乐家"), ARTIST(16, "艺术家"), ATHLETE(17, "运动员"), ACTOR(18, "演员"), CHEF(19, "厨师"), BARISTA(20, "咖啡师"), BANKER(21, "银行家"), CONSULTANT(22, "顾问"), INVESTOR(23, "投资人"), PHARMACIST(24, "药剂师"), PSYCHOLOGIST(25, "心理学家"), SCIENTIST(26, "科学家"), RESEARCHER(27, "研究员"), POLITICIAN(28, "政治家"), CIVIL_SERVANT(29, "公务员"), MILITARY(30, "军人"), POLICE(31, "警察"), FIREFIGHTER(32, "消防员"), PILOT(33, "飞行员"), ENGINE_DRIVER(34, "司机"), TRUCK_DRIVER(35, "卡车司机"), TAXI_DRIVER(36, "出租车司机"), DELIVERY(37, "快递员"), COURIER(38, "邮递员"), CLEANER(39, "清洁工"), GARDENER(40, "园丁"), JANITOR(41, "看门人"), SALESMAN(42, "售货员"), CASHIER(43, "收银员"), WAREHOUSE(44, "仓库管理员"), CONSTRUCTION_WORKER(45, "建筑工人"), ELECTRICIAN(46, "电工"), PLUMBER(47, "水暖工"), MECHANIC(48, "机修工"), HAIRDRESSER(49, "理发师"), AUCTIONEER(50, "拍卖师"); private int id; private String name; Career(int id, String name) { this.id = id; this.name = name; } public static String getCareerNameById(int id) { for (Career career : Career.values()) { if (career.id == id) { return career.name; } } return null; } } ``` 这个枚举类型中包含50种不同的职业，并且提供了一个静态方法，可以根据职业的编号获取其中文名。每个职业都有一个唯一的ID和一个中文名属性。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值