R语言ETL工程系列：检索（select）

最新推荐文章于 2024-01-31 11:25:13 发布
最新推荐文章于 2024-01-31 11:25:13 发布
阅读量904 收藏 1
点赞数

640?wx_fmt=png

作者：黄天元，复旦大学博士在读，目前研究涉及文本挖掘、社交网络分析和机器学习等。希望与大家分享学习经验，推广并加深R语言在业界的应用。

邮箱：huang.tian-yuan@qq.com


前言

本章介绍如何从表中检索一个或多个数据列。


首先我们加载需要使用的包。其中我们需要的航班数据flights数据集需要在nycflights13中加载：

1library(tidyverse)
2library(nycflights13)


select函数


select是最常用的ETL函数之一，用途就是从表格中选取需要的列。
要使用这个函数，要搞清楚两个问题：1.从哪里获取数据？2.从数据里面提取什么？所以需要给出至少两个信息：1.表格名称；2.列名称。


检索单个列


我们从最简单的语句开始：

1flights %>%
2  select(year)


 1## # A tibble: 336,776 x 1
 2##     year
 3##    <int>
 4##  1  2013
 5##  2  2013
 6##  3  2013
 7##  4  2013
 8##  5  2013
 9##  6  2013
10##  7  2013
11##  8  2013
12##  9  2013
13## 10  2013
14## # ... with 336,766 more rows


上面的语句表示：从flights表格中提取了名为year的列。相应的SQL语句如下：

1<SQL> SELECT `year`
2FROM `flights`

提示：尽管SQL不区分大小写，但是统一使用大写来写SQL语句有利于提高可读性。另外，很多SQL语句要求最后要加分号（;），否则会报错。


检索多个列


检索多个列与检索单列相似，需要给出多个列名称，而且列名称之间需要用逗号（,）隔开。需要注意的是，最后的列名称后面不能加逗号，否则会报错。

1flights %>%
2  select(year,month,day)


 1## # A tibble: 336,776 x 3
 2##     year month   day
 3##    <int> <int> <int>
 4##  1  2013     1     1
 5##  2  2013     1     1
 6##  3  2013     1     1
 7##  4  2013     1     1
 8##  5  2013     1     1
 9##  6  2013     1     1
10##  7  2013     1     1
11##  8  2013     1     1
12##  9  2013     1     1
13## 10  2013     1     1
14## # ... with 336,766 more rows


相应SQL语句如下：

1<SQL> SELECT `year`, `month`, `day`
2FROM `flights`


检索所有列


R中只要输入表格名称，默认就是包含了表格所有列，因此提取所有列非常简单：

1flights


 1## # A tibble: 336,776 x 19
 2##     year month   day dep_time sched_dep_time dep_delay arr_time
 3##    <int> <int> <int>    <int>          <int>     <dbl>    <int>
 4##  1  2013     1     1      517            515         2      830
 5##  2  2013     1     1      533            529         4      850
 6##  3  2013     1     1      542            540         2      923
 7##  4  2013     1     1      544            545        -1     1004
 8##  5  2013     1     1      554            600        -6      812
 9##  6  2013     1     1      554            558        -4      740
10##  7  2013     1     1      555            600        -5      913
11##  8  2013     1     1      557            600        -3      709
12##  9  2013     1     1      557            600        -3      838
13## 10  2013     1     1      558            600        -2      753
14## # ... with 336,766 more rows, and 12 more variables: sched_arr_time <int>,
15## #   arr_delay <dbl>, carrier <chr>, flight <int>, tailnum <chr>,
16## #   origin <chr>, dest <chr>, air_time <dbl>, distance <dbl>, hour <dbl>,
17## #   minute <dbl>, time_hour <dttm>


SQL代码：

1<SQL> SELECT *
2FROM `flights`


根据列名称对列进行检索


有的时候我们的表格具有很多列，而列名称是具有一定的命名规则的，我们可以根据这些规则来选择特定的列。比如在flights表格中，我们先看一下flights有哪些列名称：

1flights %>% names()


1##  [1] "year"           "month"          "day"            "dep_time"      
2##  [5] "sched_dep_time" "dep_delay"      "arr_time"       "sched_arr_time"
3##  [9] "arr_delay"      "carrier"        "flight"         "tailnum"       
4## [13] "origin"         "dest"           "air_time"       "distance"      
5## [17] "hour"           "minute"         "time_hour"


这样我们就知道flights都有哪些列，现在我们想要检索以“time”结尾的列，可以这样操作：

1flights %>%
2  select(ends_with("time"))


 1## # A tibble: 336,776 x 5
 2##    dep_time sched_dep_time arr_time sched_arr_time air_time
 3##       <int>          <int>    <int>          <int>    <dbl>
 4##  1      517            515      830            819      227
 5##  2      533            529      850            830      227
 6##  3      542            540      923            850      160
 7##  4      544            545     1004           1022      183
 8##  5      554            600      812            837      116
 9##  6      554            558      740            728      150
10##  7      555            600      913            854      158
11##  8      557            600      709            723       53
12##  9      557            600      838            846      140
13## 10      558            600      753            745      138
14## # ... with 336,766 more rows


这样一来我们就选择了所有与时间相关的变量。如果要选择以一定的字符串起始的列，可以使用starts_with，比如：

1flights %>%
2  select(starts_with("dep"))


 1## # A tibble: 336,776 x 2
 2##    dep_time dep_delay
 3##       <int>     <dbl>
 4##  1      517         2
 5##  2      533         4
 6##  3      542         2
 7##  4      544        -1
 8##  5      554        -6
 9##  6      554        -4
10##  7      555        -5
11##  8      557        -3
12##  9      557        -3
13## 10      558        -2
14## # ... with 336,766 more rows


关于选择列的条件还有很多，它们是tidyselect包中的函数，比如contains可以选择列名称中包含某一特定字符串的列，详情可以用?vars_select来查询你需要的功能。


检索独特的值


有时候我们只想知道出现的值的不同种类，不需要每次出现都表示出来，这个时候我们可以使用distinct函数，下面我们举个例子。
我们想要知道数据中包含了哪些月份的数据，但是单纯选择月份这一字段是做不到的。

1flights %>%
2  select(month)


 1## # A tibble: 336,776 x 1
 2##    month
 3##    <int>
 4##  1     1
 5##  2     1
 6##  3     1
 7##  4     1
 8##  5     1
 9##  6     1
10##  7     1
11##  8     1
12##  9     1
13## 10     1
14## # ... with 336,766 more rows


我们需要使用distinct函数，让month列中重复出现的值不会第二次出现：

1flights %>%
2  select(month) %>%
3  distinct()


 1## # A tibble: 12 x 1
 2##    month
 3##    <int>
 4##  1     1
 5##  2    10
 6##  3    11
 7##  4    12
 8##  5     2
 9##  6     3
10##  7     4
11##  8     5
12##  9     6
13## 10     7
14## 11     8
15## 12     9


SQL代码：

1<SQL> SELECT DISTINCT *
2FROM (SELECT `month`
3FROM `flights`)


只显示若干行


前面的例子中其实我们也可以知道，flights这个数据表一共有336,776行，也就是说，我们无法在屏幕中就浏览全数据，我们只能截取一部分查看。
比较常见的方法，是查看前几行，或者最后几行。但是事实上，只要我们可以根据需要查看任意行（使用切片函数slice）。

查看前6行：

1flights %>%
2  head()


 1## # A tibble: 6 x 19
 2##    year month   day dep_time sched_dep_time dep_delay arr_time
 3##   <int> <int> <int>    <int>          <int>     <dbl>    <int>
 4## 1  2013     1     1      517            515         2      830
 5## 2  2013     1     1      533            529         4      850
 6## 3  2013     1     1      542            540         2      923
 7## 4  2013     1     1      544            545        -1     1004
 8## 5  2013     1     1      554            600        -6      812
 9## 6  2013     1     1      554            558        -4      740
10## # ... with 12 more variables: sched_arr_time <int>, arr_delay <dbl>,
11## #   carrier <chr>, flight <int>, tailnum <chr>, origin <chr>, dest <chr>,
12## #   air_time <dbl>, distance <dbl>, hour <dbl>, minute <dbl>,
13## #   time_hour <dttm>


查看后6行：

1flights %>%
2  tail()


 1## # A tibble: 6 x 19
 2##    year month   day dep_time sched_dep_time dep_delay arr_time
 3##   <int> <int> <int>    <int>          <int>     <dbl>    <int>
 4## 1  2013     9    30       NA           1842        NA       NA
 5## 2  2013     9    30       NA           1455        NA       NA
 6## 3  2013     9    30       NA           2200        NA       NA
 7## 4  2013     9    30       NA           1210        NA       NA
 8## 5  2013     9    30       NA           1159        NA       NA
 9## 6  2013     9    30       NA            840        NA       NA
10## # ... with 12 more variables: sched_arr_time <int>, arr_delay <dbl>,
11## #   carrier <chr>, flight <int>, tailnum <chr>, origin <chr>, dest <chr>,
12## #   air_time <dbl>, distance <dbl>, hour <dbl>, minute <dbl>,
13## #   time_hour <dttm>


查看第100行到第103行：

1flights %>%
2  slice(100:103)


 1## # A tibble: 4 x 19
 2##    year month   day dep_time sched_dep_time dep_delay arr_time
 3##   <int> <int> <int>    <int>          <int>     <dbl>    <int>
 4## 1  2013     1     1      752            759        -7      955
 5## 2  2013     1     1      753            755        -2     1056
 6## 3  2013     1     1      754            759        -5     1039
 7## 4  2013     1     1      754            755        -1     1103
 8## # ... with 12 more variables: sched_arr_time <int>, arr_delay <dbl>,
 9## #   carrier <chr>, flight <int>, tailnum <chr>, origin <chr>, dest <chr>,
10## #   air_time <dbl>, distance <dbl>, hour <dbl>, minute <dbl>,
11## #   time_hour <dttm>


这里只展示取前6行的代码的SQL代码：

1<SQL> SELECT *
2FROM `flights`
3LIMIT 6


使用注释


任何编程语言都需要有注释，注释能够方便别人读懂你的代码。即使你不打算把代码分享给别人，注释也有助于自己在往后的工作中，重新使用自己已经写过的代码。
R语言中，注释一般采用井号（#），即#后面的内容就是需要注释的部分，我们举个例子。

1flights %>%      #这是我们的表格名称flights
2  select(year)   #这是我们要取的列year


 1## # A tibble: 336,776 x 1
 2##     year
 3##    <int>
 4##  1  2013
 5##  2  2013
 6##  3  2013
 7##  4  2013
 8##  5  2013
 9##  6  2013
10##  7  2013
11##  8  2013
12##  9  2013
13## 10  2013
14## # ... with 336,766 more rows


#上面的井号后面的都是注释，不会被执行

提示：尽管本系列的重点不是SQL，但是这里还是提及一下SQL中的注释格式。SQL中，与R语言井号（#）对等的注释代码是“–”（两个减号，又称连字符）。例子如下：

1<SQL> SELECT DISTINCT *
2FROM (SELECT `month`     --不用执行我，我只是注释
3FROM `flights`)


小结


本章主要内容就是，如何选择列：选择一列，选择多列，选择列中独特的值，只显示其中的若干行。最后，我们还介绍了如何在R语言中对代码进行注释，加强代码的可读性，从而提高代码的重复利用性。老实说，这些内容都比较简单，不过被使用频次是最多的，必须要牢牢掌握，随时使用。




640?wx_fmt=png


往期精彩：

  1. R语言ETL工程系列：总论

  2. R语言ETL工程系列：R语言基础设置

  3. R语言ETL工程系列：读写（read/write）

  4. R语言文本特征工程：词袋模型


640?wx_fmt=jpeg

公众号后台回复关键字即可学习

回复 爬虫             爬虫三大案例实战  
回复 Python        1小时破冰入门

回复 数据挖掘      R语言入门及数据挖掘
回复 人工智能      三个月入门人工智能
回复 数据分析师   数据分析师成长之路 
回复 机器学习      机器学习的商业应用
回复 数据科学      数据科学实战
回复 常用算法      常用数据挖掘算法

R语言中文社区
关注
查询数据：SELECT语句详解
AI天才研究院
06-04 676
查询数据：SELECT语句详解 1.背景介绍 在关系数据库管理系统(RDBMS)中,SELECT语句是最常用和最重要的SQL语句之一。它用于从一个或多个表中检索数据。无论是简单的查询还是复杂的查询,SELECT语句都是实现数据查询的核心工具。 数据查询是数据库应用程序中不可或缺的
架构师必知必会系列：数据架构与数据管理
AI天才研究院
10-29 755
数据架构是指用来定义企业数据的逻辑结构、物理存储结构和数据的流转过程。它由数据中心和IT平台、数据库、文件系统、网络、安全、计算资源等构成。其目的是为了满足业务需求、提升组织效率和降低成本。数据架构包括数据字典、元数据、数据模型、数据流、数据仓库、数据管道、数据服务等。在应用中，将数据按照其自身特性进行划分、分类、归档、清洗和加工，才能实现数据采集、整理、分析和实时呈现。数据架构涉及到多个部门之间的协调、沟通、合作和交流，需要建立完整的数据价值链。
r语言 select_R语言ETL工程系列：检索（select）
weixin_29032337的博客
01-25 3127
作者：黄天元，复旦大学博士在读，目前研究涉及文本挖掘、社交网络分析和机器学习等。希望与大家分享学习经验，推广并加深R语言在业界的应用。邮箱：huang.tian-yuan@qq.com前言本章介绍如何从表中检索一个或多个数据列。首先我们加载需要使用的包。其中我们需要的航班数据flights数据集需要在nycflights13中加载：1library(tidyverse)2library(...
select()函数
最新发布
weixin_49177164的博客
01-31 670
在上面的示例中，我们使用select()函数选择了数据框df中的name和age列，并将结果存储在selected_df中。然后，我们打印了选择的结果。R语言中的select()函数用于选择数据框中的特定列。它可以根据列名或列索引来选择列。
R语言列筛选的方法--select
邓飞----育种数据分析之放飞自我
01-20 2万+
下面，介绍一下R语言中修改列名及筛选列的方法。 1. 数据描述 数据来源是我编写的R包learnasreml中的fm数据集。 r$> library(learnasreml) r$> data(fm) r$> head(fm) 目的： 提取fm的TreeID，Rep，dj，dm，h3，并重命名为：ID, F1, y1 , y2, y3 2. 使用R语言默认的方法：列选择 r$> d1 = fm[,c(1,3,6,7,11)] r$> head(d1) Tree
R语言ETL工程系列：排序（arrange）
简书博客搬家测试账号
02-18 1007
欢迎关注天善智能，我们是专注于商业智能BI，人工智能AI，大数据分析与挖掘领域的垂直社区，学习，问答、求职一站式搞定！ 对商业智能BI、大数据分析挖掘、机器学习，python，R等数据领域感兴趣的同学加微信：tstoutiao，邀请你进入数据爱好者交流群，数据爱好者们都在这儿。 作者：黄天元，复旦大学博士在读，目前研究涉及文本挖掘、社交网络分析和机器学习...
ETL工程师的数据集成与集成架构
## 1.1 什么是ETL工程师 在当今大数据时代，ETL（Extract, Transform, Load）工程师扮演着至关重要的角色。ETL工程师负责从各种不同的数据源抽取数据，进行数据转换和清洗，最终将处理过的数据加载到目标数据仓库或...
ETL工程师手把手教你学习SQL基础知识
SQL被广泛应用于数据分析、数据处理、报表生成、数据挖掘和ETL工程等领域，是处理大规模数据的重要工具。 ## 1.3 SQL在ETL工程中的重要性 在ETL（Extract, Transform, Load）工程中，SQL被用来从源系统中提取数据...
R进阶（1） --dplyr中的Select函数
热门推荐
06-23 2万+
大神Hadley Wickham的dplyr包更新到了1.1.0版 。今天探究一下里面的神函数select. 首先检查你是否安装了最新版本的dplyr版本 packageVersion("dplyr") [1] ‘0.8.3’ 赶紧更新 install.packages("dplyr") 搞定，1.0.1版 select函数，主要用于列的选择，我们先导入含有五列的经典数据集iris和dplyr包，然后再介绍用法 > library(dplyr) > data(iris) &g
r语言 select_R&Python Data Science 系列：数据处理（1）
weixin_36468140的博客
01-24 1398
0 前言 数据科学主要以统计学、机器学习、数据可视化等，使用工具将原始数据转换为认识和知识(可视化或者模型)，主要研究内容包括数据导入、数据转换、可视化、构建模型等。当前R语言和Python是两门最重要的数据科学工具，本系列主要介绍R和Python在数据导入、数据转换、可视化以及模型构建上的使用。整个系列会按照数据转换、可视化、数据导入、模型构建进行介绍。在数据转换和可视化模块...
select 函数的使用方法
wangzhen_csdn的博客
08-01 2709
while(1) { FD_ZERO(&set); foreach(需要监控的文件) { fd>maxfd?fd:maxfd; res=select(maxfd+1,&set,0,0,0); if(FD_ISSET(listen_fd,&set)) { newfd=accept(listenfd,&set); array[nsock++]=newfd; if(--res }
R语言 | 字符串搜索（关键字搜索）（packages:stringr）
玄武灌汤包
12-02 1万+
1.任务描述：在文本中搜索关键字 2.解决方案： &gt; library(stringr) &gt; str_detect(c("高血压糖尿病", "糖", "尿病" ), "糖尿病") [1] TRUE FALSE FALSE &gt; str_detect(c("高血压糖尿病", "糖", "尿病" ), "糖尿病 | 病&qu
select()函数用法小结及疑问点
景色正好的专栏
12-15 1394
1、函数原型及头文件 - windows下头文件为 #include - linux下头文件为 include   include - 原型 int select(int nfds,fd_set *readsets,fd_set *writesets,fd_set *exceptsets,const struct timeval *timeout) 返回
select函数详解及实例分析
lin_jianbin的专栏
06-05 594
原文：http://blog.csdn.net/leo115/article/details/8097143     Select函数在Socket编程中还是比较重要的，可是对于初学Socket的人来说都不太爱用Select写程序，他们只是习惯写诸如connect、 accept、recv或recvfrom这样的阻塞程序（所谓阻塞方式block，顾名思义，就是进程或是线程执行到这些函数时必须
R的基础变量及数据类型
wzyhahaha的博客
08-25 2905
注释 为何我将注释放在最开头讲，就是因为，学会了注释的使用方式之后，能够在代码中通过注释的方式，让整个代码结构看上去更佳易懂。注释在运行的时候并不会被执行其中的内容，只是便于帮助我们理解代码的。 R语言中的注释，是通过井号#的方式放在代码前，比如： #这是一行注释 # 这一也是一行注释 两行注释看上去一样，无非是第二行多了一个空格，很多人会习惯在井号后面加空格，是为了防止有些时候...
数据仓库与SQL问题详解：从DW到ETL全方位解析
- **SQL（Structured Query Language）**：用于管理和操作数据库的标准语言，用于检索、插入、更新和删除数据。 - **基本查询**： - 列举表中的所有记录：使用`SELECT * FROM table_name;` - SQL92：SQL标准版本之...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值