数据科学家需要掌握的几大命令行骚操作

欢迎关注天善智能，我们是专注于商业智能BI，人工智能AI，大数据分析与挖掘领域的垂直社区，学习，问答、求职一站式搞定！

对商业智能BI、大数据分析挖掘、机器学习，python，R等数据领域感兴趣的同学加微信：tstoutiao，邀请你进入数据爱好者交流群，数据爱好者们都在这儿。

来自：开源中国社区

链接：https://www.oschina.net/translate/cli-4-ds

原文：http://kadekillary.work/post/cli-4-ds/

来源：Python数据科学

对于许多数据科学家来说，数据操作起始于Pandas或Tidyverse。从理论上看，这个概念没有错。毕竟，这是为什么这些工具首先存在的原因。然而，对于分隔符转换等简单任务来说，这些选项通常可能是过于重量级了。

有意掌握命令行应该在每个开发人员的技能链上，特别是数据科学家。学习shell中的来龙去脉无可否认地会让你更高效。除此之外，命令行还在计算方面有一次伟大的历史记录。例如，awk - 一种数据驱动的脚本语言。Awk首次出现于1977年，它是在传奇的K&R一书中的K，Brian Kernighan的帮助下出现的。在今天，大约50年之后，awk仍然与每年出现的新书保持相关联！ 因此，可以肯定的是，对命令行技术的投入不会很快贬值的。

我们会谈及的内容

ICONV

HEAD

TR

WC

SPLIT

SORT & UNIQ

CUT

PASTE

JOIN

GREP

SED

AWK

ICONV

文件编码总是棘手的问题。目前大部分文件都是采用的 UTF-8 编码。要想了解 UTF-8 的魔力，可以看看这个优秀的视频。尽管如此，有时候我们还是会收到非 UTF-8 编码的文件。这种情况下就需要尝试转码。iconv 就是这种状况下的救世主。

iconv 是一个简单的程序，可以输入某种编码的文本，然后以另一种编码输出。

# Converting -f (from) latin1 (ISO-8859-1)
# -t (to) standard UTF_8

iconv -f ISO-8859-1 -t UTF-8 < input.txt > output.txt

有用的选项：

• head -n 输出指定行

• head -c 输出指定的字节

HEAD

如果你是重度Pandas的用户，那么你会对head很熟悉。通常在处理新数据时，我们想要做的第一件事就是了解究竟存在那些东西。这会引起Panda启动，读取数据，然后调用df.head() - 很费劲，至少可以说。head，不需要任何标志，将输出文件的前10行。head真正的能力在于彻查清除操作。 例如，如果我们想将文件的分隔符从逗号改变为pipe通配符。一个快速测试将是：head mydata.csv | sed 's/,/|/g'

# Prints out first 10 lines
head filename.csv
# Print first 3 lines
head -n 3 filename.csv

有用的选项:

• head -n 输出指定行

• head -c 输出指定的字节

TR命令

Tr类似于翻译，它是基于文件清理的一个强大使用的工具。一个理想的用法是替换文件中的分隔符。

#将文件中的制表符分割转换成逗号
cat tab_delimited.txt | tr "	" "," comma_delimited.csv

Tr的另一个特性是在你的处理中设置上所有的[:class:]变量。包括：

[:alnum:] 所有字母和数字
[:alpha:] 所有字母
[:blank:] 所有水平空白
[:cntrl:] 所有控制字符
[:digit:] 所有数字
[:graph:] 所有可打印的字符，不包括空格
[:lower:] 全部小写字母
[:print:] 所有可打印的字符，包括空格
[:punct:] 所有标点符号
[:space:] 所有的水平或垂直空格
[:upper:] 全部大写字母
[:xdigit:] 所有十六进制数字

可以将这些多样化的变量链接在一起，组成一个强大的程序。下面是一个基于字数统计的程序，用来检查你的README文件是否使用过度。

cat README.md | tr "[:punct:][:space:]

另外一个例子用于正则表达式

# 将所有的大写字母转换成小写
cat filename.csv | tr '[A-Z]' '[a-z]'

有用的选项：

• tr -d删除字符

• tr -s压缩字符

• 退格

• 换页

• 垂直选项卡

• NNN八进制值为NNN的字符

WC

字数统计。它的价值主要体现在使用 -l 参数可以进行行数统计。

# Will return number of lines in CSV
wc -l gigantic_comma.csv

个用这个工具来验证各个命令的输出实在方便。因此，如果我们要在文件中转换分隔符，然后运行 wc -l，验证总行数是相同的。如果不同，我们就知道一定是哪里出错了。

常用选项：

• wc -c 打印字节数

• wc -m 打印字符数

• wc -L 打印最长一行的长度

• wc -w 打印字数

SPLIT命令

文件大小可以有显著变化。根据工作的不同，拆分文件是有益的，就像split。基本用法如下：

#我们拆分这个CSV文件，每500行分割为一个新的文件new_filename

split -l 500 filename.csv new_filename_

# filename.csv
# ls output
# new_filename_aaa
# new_filename_aab
# new_filename_aac

两个地方很奇怪：一个是命名方式，一个是缺少扩展名。后缀约定可以通过-d标识来数字化。添加文件扩展名，你需要执行下面这个find命令。他会给当前文件夹下的所有文件追加.csv后缀，所以需要小心使用。

find . -type f -exec mv '{}' '{}'.csv ;

# ls output
# filename.csv.csv
# new_filename_aaa.csv
# new_filename_aab.csv
# new_filename_aac.csv

有效的选项：

• split -b按特定字节大小拆分

• split -a生成长度为N的后缀

• split -x使用十六进制后缀分割

SORT & UNIQ

前面的命令是显而易见的：他们按照自己说的做。这两者提供了最重要的一击（即去重单词计数）。这是由于有uniq，它只处理重复的相邻行。因此在管道输出之前进行排序。一个有趣的事情是，sort -u将获得与sort file.txt | uniq相同的结果。

Sort确实对数据科学家来说是一种很有用的小技巧：能够根据特定的列对整个CSV进行排序。

# Sorting a CSV file by the second column alphabetically
sort -t"," -k2,2 filename.csv
# Numerically
sort -t"," -k2n,2 filename.csv
# Reverse order
sort -t"," -k2nr,2 filename.csv

这里的-t选项是指定逗号作为分隔符。通常假设是空格或制表符。此外，-k标志是用来指定我们的键的。它的语法是-km,n，m是起始字段，n是最后一个字段。

有用的选项：

• sort -f 忽略大小写

• sort -r 逆序

• sort -R 乱序

• uniq -c 计算出现次数

• uniq -d 只打印重复行

CUT命令

cut用于删除列。举个栗子，如果我们只想要第一列和第三列。

cut -d, -f 1,3 filename.csv

选择除了第一列以外的所有列

cut -d, -f 2- filename.csv

与其他的命令组合使用，cut命令作为过滤器

＃打印存在“some_string_value”的第1列和第3列的前10行

head filename.csv | grep "some_string_value" | cut -d, -f 1,3

找出第二列中唯一值的数量。

cat filename.csv | cut -d, -f 2 | sort | uniq | wc -l
# 计算唯一值出现的次数，限制输出前10个结果
cat filename.csv | cut -d, -f 2 | sort | uniq -c | head

PASTE

paste 是个有趣的小命令。如果你想合并两个文件，而这两个文件的内容又正好是有序的，那 paste 就可以这样做。

# names.txt
adam
john
zach

# jobs.txt
lawyer
youtuber
developer

# Join the two into a CSV

paste -d ',' names.txt jobs.txt > person_data.txt

# Output
adam,lawyer
john,youtuber
zach,developer

关于更多 SQL_-esque 变体，请看下面。

JOIN

Join是一种简单的、准切向的SQL。最大的区别在于Join将返回所有列，匹配可能只发生在一个字段上。默认情况下，join将尝试使用第一列作为匹配键。对于不同的结果，需要以下语法：

# Join the first file (-1) by the second column
# and the second file (-2) by the first

join -t"," -1 2 -2 1 first_file.txt second_file.txt

标准连接是一个内部连接。然而，外部连接也可以通过-af滞后来实现。另一个值得注意的是-e标志，如果发现有字段丢失，它可以用来替换成其他值。

# Outer join, replace blanks with NULL in columns 1 and 2
# -o which fields to substitute - 0 is key, 1.1 is first column, etc...

join -t"," -1 2 -a 1 -a2 -e ' NULL' -o '0,1.1,2.2' first_file.txt second_file.txt

虽然它不是最容易使用的命令，但是在绝望的时刻，它就是唯一可用的措施。

常用的选项：

• join -a 打印未成对的行

• join -e 替换缺失字段

• join -j 等同于 -1 FIELD -2 FIELD

GREP

全局搜索正则表达式并输出，或使用grep;可能是最知名的命令，并且有很好的理由。 Grep具有很强的能力，特别是在大型代码库中查找方法。在数据科学领域，它充当了其他命令的改进机制。但其标准用法也很有用。

# 递归搜索并列出当前目录下包含'word'的所有文件
grep -lr 'word' .

# 列出包含word的文件数目
grep -lr 'word' . | wc -l

对包含word/pattern的行数进行计数

grep -c 'some_value' filename.csv

# 同样的功能，但是按照文件名列出当前目录下所有包含该关键词的文件

grep -c 'some_value' *

Grep使用or运算符- |来检索多个值.

grep "first_value|second_value" filename.csv

有用的选项

• alias grep="grep --color=auto" 使grep支持彩色输出

• grep -E 使用扩展正则表达式

• grep -w 仅匹配完整单词

• grep -l 打印匹配文件的名称

• grep -v 倒序匹配

大杀器

Sed和Awk是本文两个最有用的命令。为了简洁，我不会讨论那些令人费解的细节。相反，我会讨论各种各样的命令来证明他们令人印象深刻的实力。如果你想了解的更多，这本书就可以。

SED

在内核中sed是一个流编辑器。它擅长替换，但是也可以用来重构。

最基本的sed命令包含了s/old/new/g。也就是全局搜索旧值，替换新值。没有/g 我们的命令可能在第一次出现旧值就会终止。

为了尽快了解它的能力，我们来看一个例子。在这个情况你会拿到下面的文件：

balance,name
$1,000,john
$2,000,jack

我们要做的第一件事就是移除美元符。-i 标识表示就地修改。''就是代表一个零长度文件扩展，因此重写我们的初始文件。理想情况下，你会单独测试这些并输出到一个新文件。

sed -i '' 's/$//g' data.txt

# balance,name
# 1,000,john
# 2,000,jack

下一步，我们的balance列的逗号。

sed -i '' 's/([0-9]),([0-9])//g' data.txt

# balance,name
# 1000,john
# 2000,jack

最终，Jack有一天起来并准备辞职了。所以，再见吧，我的朋友。

sed -i '' '/jack/d' data.txt

# balance,name
# 1000,john

就像你所看到的，sed功能强大，但是乐趣不止于此。

AWK

最好的放最后。Awk不仅是一个简单的命令：它是一个成熟的语言。在本文中包含的每一个命令中，awk目前是最酷的。如果你发现它令你印象深刻，这有大量的资源- 看这，这，和这。

awk包含的常用案例：

文本处理

格式化文本报告

执行计算操作

执行字符串操作

Awk在其最初雏形可以与grep平行。

awk '/word/' filename.csv

或者多使用一点魔法，让grep和cut结合。在这，awk对所有行通过word打印了以tab分隔的第三和第四列。-F，只是将分隔符变为逗号。

awk -F, '/word/ { print $3 "	" $4 }' filename.csv

Awk具有大量有用的内置变量。例如， NF -字段数 - 和NR - 记录数。为了获取文件中这53个记录：

awk -F, 'NR == 53' filename.csv

添加一个小窍门可以基于一个值或者多个值过滤。下面的第一个例子，会打印这些记录中第一列为string的行数和列。

awk -F, ' $1 == "string" { print NR, $0 } ' filename.csv
# Filter based off of numerical value in second column
awk -F, ' $2 == 1000 { print NR, $0 } ' filename.csv

多数值表达式：

# Print line number and columns where column three greater
# than 2005 and column five less than one thousand

awk -F, ' $3 >= 2005 && $5 <= 1000 { print NR, $0 } ' filename.csv

计算第三列之和：

awk -F, '{ x+=$3 } END { print x }' filename.csv

计算那些第一列值为“something”的第三列之和。

awk -F, '$1 == "something" { x+=$3 } END { print x }' filename.csv

获取文件的行数列数：

awk -F, 'END { print NF, NR }' filename.csv

# Prettier version

awk -F, 'BEGIN { print "COLUMNS", "ROWS" }; END { print NF, NR }' filename.csv

打印出现过两次的行：

awk -F, '++seen[$0] == 2' filename.csv

移除多行：

# Consecutive lines
awk 'a !~ $0; {a=$0}']

# Nonconsecutive lines
awk '! a[$0]++' filename.csv

# More efficient
awk '!($0 in a) {a[$0];print}

使用内置函数gsub()替换多个值。

awk '{gsub(/scarlet|ruby|puce/, "red"); print}'

这个awk命令合并了多个CSV文件，忽略头并在结尾追加。

awk 'FNR==1 && NR!=1{next;}{print}' *.csv > final_file.csv

需要精简一个大文件？好的，awk可以在sed的帮助下完成这件事。具体来说，基于一个行数，这个命令将一个大文件分为多个小文件。这个一行文件也会添加一个扩展名。

sed '1d;$d' filename.csv | awk 'NR%NUMBER_OF_LINES==1{x="filename-"++i".csv";}{print > x}'

# Example: splitting big_data.csv into data_(n).csv every 100,000 lines

sed '1d;$d' big_data.csv | awk 'NR%100000==1{x="data_"++i".csv";}{print > x}'

结束前

命令行拥有无穷的力量。本文所涵盖的命令行知识足以让你从零基础到入门。除了这些已涉及的内容外，针对日常数据操作还有需要可考虑的实用程序。Csvkit, xsv和q是其中三个值得关注的。

推荐阅读：

熊猫之死，是腾讯对360的又一次胜利

4个数据分析师的必备技能，让你不走弯路！

金三银四求职季，这份GitHub万星的ML算法面试大全请收下

公众号后台回复关键词学习

回复 免费                获取免费课程

回复 直播                获取系列直播课

回复 Python           1小时破冰入门Python

回复 人工智能         从零入门人工智能

回复 深度学习         手把手教你用Python深度学习

回复 机器学习         小白学数据挖掘与机器学习

回复 贝叶斯算法      贝叶斯与新闻分类实战

回复 数据分析师      数据分析师八大能力培养

回复 自然语言处理  自然语言处理之AI深度学习