Linux文件中的特殊换行符

Linux文件中的特殊换行符

大数据项目做数据etl工作时，无可避免的会遇到Linux文件中的一些特殊换行符。在做这些特殊符号的处理的时候往往就相当麻烦，这里详细记录一下怎么这些特殊字符，并转换成能识别的普通字符或者是符合项目数据规范的分隔符。
以下面和这个文件为例：

---

查看隐形的分隔符

首先进入vim编辑模式，然后输入: set list查看文件中隐藏的符号

这里显示的特殊字符是^I , 但是直接示例中直接cat的时候是看不见这个^I ，并且直接用^I去搜索也是不存在的

---

查看特殊字符对照表

首先进入vim编辑模式，然后输入: help digraph-table查看隐藏的符号对照表

这里可以看到，^I 实际上是个二拼字符，在vim模式下按住ctrl+k，再输入HT即可输出一个^I。但是想要处理替换掉这个字符，是没法用HT去处理的。好消息是，查到对应的hex和dec了

查看ASCII码对照表

由以上步骤已经查到该字符的dec和hex，就可以在ascII码中查到对应的八进制十进制十六进制的码值。这里贴的是不分码值表，完整的表格自行百度

通过对照表可以查到^I对应的八进制码是011，dec是9，十六进制码值是0x09

替换字符

这里以八进制码值为例，处理转换^I,替换成普通分隔符|，直接用sed转换整个文件

sed -i 's/\o011/|/g' showChar

需要转义\
需要特殊前缀o识别是八进制