用Linux sed命令替换掉行里的不可见字符\001,\002

最新推荐文章于 2024-06-06 12:20:56 发布
最新推荐文章于 2024-06-06 12:20:56 发布
阅读量1.1w 收藏 3
点赞数
分类专栏： 善假于物
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/beagreatprogrammer/article/details/46457703
版权

最近做hadoop数据统计，数据里面很多都是\001\002等不可见的字符分隔的，这样就没法直接看数据，这个时候需要给里面的这些不可见字符替换掉。

\001\002在vi里是^A,^B，所以我们可以用Linux的sed命令替换一下。

sed -e 's/^A/\t/g'  filename

附件：

最低0.47元/天 解锁文章
R先森
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Linux使用sed命令替换字符串教程
01-20
要替换字符串，我们需要使用以下格式。 $ sed s/替换的目标字符串/替换后的字符串/ 文件名 在下面我们替换写为“appleorangemelon”的字符串“sample.txt”。 $ sed s/orange/ORANGE/ sample.txt 执行结果为 ...
Java处理Linux下不可见字符_Linux 文本中的不可见字符和处理
weixin_42347415的博客
02-28 163
同事提供了一个接口，我通过curl调用，然后将返回结果写入到文件，然后用grep和sed处理这个文件。用浏览器和curl打开的时候，都是同事提供了一个接口，我通过curl调用，然后将返回结果写入到文件，然后用grep和sed处理这个文件。用浏览器和curl打开的时候，都是正常的，返回的都是inetis_p1,masterpool;inetis_p2,masterpool;inetis_q1,mas...
ASCII码表
我不入地狱，谁入地狱
07-26 971
ascii编码 Decimal Octal Hex Binary Value ------- ----- --- ------ ----- 000 000 000 00000000 NUL (Null char.) 001 001 00
Linux终端：用cat命令查看不可见字符
最新发布
qq_2244的博客
06-06 269
时常，某个程序或软件并没有语法错误，并且你检查它的相关内容也确实没有发现问题。这是因为你用普通文本编辑器软件来查看的时候，有许多字符没有显示出来，但在终端使用 cat 命令可以很容易地检测出是否存在这些字符。现在用不同的编辑器软件打开，显示的结果会不同。首先，我们创建一个简单的文本文件，写入一些特殊字符。现在我们给 cat 加上一些选项参数，以便能显示出特殊字符来。用 cat -T 命令来显示 TAB 键的字符^I。用 cat -E 命令来显示行尾的结束字符$
Linux显示文件名的隐藏字符,Linux如何删除名字带不可见字符的文件
weixin_42160645的博客
04-28 536
Linux删除名字带不可见字符的文件方法：列出文件名并转储到文件：ls -l >aaa ，然后编辑文件的内容加入rm命令使其内容成为删除上述文件的格式：vi aaa [rm -r ******* ]， 把文件加上执行权限chmod +x aaa $aaa 执行。Linux操作系统是UNIX操作系统的一种克隆系统，它诞生于1991 年的10 月5 日(这是第一次正式向外公布的时间)。以后借助于...
sed替换^A（\001）,\002,\003等特殊字符
热门推荐
12-26 2万+
替换方式1. 使用编码替换例子： 替换掉文中的^A字符 sed -i "s/\x01/\t/g" test.txt2. 符号替换其中 “^A” 这个符号 ，使用组合按键“ctrl+V+A”获得sed -i "s/^A/\t/g" test.txt 码表“`
hive概要、数据类型、列的分割符
lds_include
03-22 466
hive理论知识 什么是hive 构建在Hadoop之上的数据仓库 Hive定义了一种类SQL查询语言：HQL（类似SQL但不完全相同） 通常用于进行离线数据处理（采用MapReduce） 底层支持多种不同的执行引擎（Hive on MapReduce、Hive on Tez、Hive on Spark） 支持多种不同的压缩格式、存储格式以及自定义函数（压缩：GZIP、LZO、Snappy、BZ...
shell 修改文件分隔符 tab 变为 \u001
每天进步一点点儿
05-11 6396
从excel表格拷贝出来的内容，粘贴到linux上的时候，默认分隔符的 \t ,想把这些文件变为hive默认的分隔符，需要做如下操作 1、vi 要编辑的文件 2、输入 :1,$s/\t/^A/g 对第一行到最后一行的内容进行替换（即全部文本） ^A 不能直接输入，需要用下面方式输入 ctrl + V 可以输入 ^符号 ctrl + a 可以输入A---'\001' 参...
Java处理Linux下不可见字符,解决Linux上出现的特殊字符^H、^@、^M
weixin_42333370的博客
03-15 3083
最近在用java 远程Linux上执行Shell命令，通过ganymed-ssh2 jar包进行连接，然后执行完命令获得执行结果等数据的处理，将结果打印在日志里，并且使用VIM打开日志文件查看，出现：也就是出现这些很奇怪的字符(一脸懵~)，非常影响查看和让人很疑惑。通过网上查找资料发现原来是：^M 是ascii中的'\r', 回车符，是16进制的0x0D，8进制的015，十进制的13。其实...
linux c语言 字符串去特定字符 例如^M、回车
胡铁威的博客
03-25 1696
使用C语言，生成数据库导入文件时，由于有字段包含^M，导致导入数据库命令报错，数据无法入库。 字符串使用vim查看的时候，显示包含^M字符。 使用 使用od -c 文件名，查看发现 ^M是\r\n字符串。 int Replace_Buf(char *sBuf) { char *p = sBuf; p = sBuf; while(1) { if(p = strstr(p, "\r
Linux sed命令的使用
09-14
这只是sed命令使用的一部分，实际上，sed支持的命令和功能远不止这些，比如替换操作（s命令）、条件判断（如/begin/,/end/区间操作）、函数调用等。熟练掌握sed命令，能极大地提高Linux系统中的文本处理效率。通过...
linux sed命令详解(推荐)
01-20
sed命令是一个面向字符流的非交互式编辑器，也就是说sed不允许用户与它进行交互操作。sed是按行来处理文本内容的。在shell中，使用sed来批量修改文本内容是非常方便的。 sed命令的选项 sed [选项] [动作] 选项与参数...
Linux sed 命令用法详解
01-09
Linux sed 命令 Linux sed 命令是利用脚本来处理文本文件。 sed 可依照脚本的指令来处理、编辑文本文件。 Sed 主要用来自动编辑一个或多个文件、简化对文件的反复操作、编写转换程序等。 语法 sed [-hnV][-e][-f]...
sed命令替换 M-BM- 不可见字符 解决脚本或配置文件粘贴后莫名其妙的报错
低温热源的博客
07-29 778
在使用shell脚本、编辑配置文件时，如果是直接复制，有时会莫名其妙报错。不可见字符 挤占在空格位，正是这些字符导致脚本或配置文件的读取出错、使用cat -A查看文件，可以看到非常多的。脚本和配置文件此时就不会因为。使用sed命令将文件内的。不可见字符 全部替换为空格。不可见字符而导致报错。
Linux的实用命令（四）之替换sed命令和特殊字符处理
sheep8521的博客
08-15 1万+
Linux中的特殊字符的处理 1、windows和linux环境下的换行符号处理： Windows系统中有如下等价关系： 用enter换行 <====> 程序写\n <====> 真正朝文件中写\r\n(0x0d0x0a) <====>程序真正读取的是\n linux系统中的等价关系： 用enter换行 <====> 程序写\n &l...
sed正则表达式替换字符方法
逆风水手的博客
04-23 4201
在 Linux 命令行中，可以使用 sed 命令来替换指定文件中的指定字符。中不包含特殊字符，如空格、引号等，否则可能会导致替换失败或出现意外结果。表示全局替换，即替换所有匹配的字符串，而不是只替换第一个。参数表示直接修改文件内容，而不是输出到终端，是一个存在的文件名，否则会出现错误提示。使用 sed 命令进行替换时，要确保。表示要进行替换的文件名。，并保存到原文件中。表示要被替换的字符串，表示替换后的字符串，
shell脚本，递归处理文件夹下数据中的不可见字符
weixin_43677098的博客
12-15 442
核心是sed命令，sed替换的基本语法为: ----s后面跟的是分隔符，原字符串可使用.*这种正则表达式进行整行替换 sed ‘s/原字符串/替换字符串/’ 注意：\x0中\表示后面是转义字符, x表示后面的数据是16进制表示, 0就是16进制的0, 综合起来就是表示一个数值为0的字节，参数”i”的意思是直接在文件中替换 代码如下： #!/bin/bash repair(){ sed -i 's/\x0//g' $f } travFolder(){ #echo "travFolder"
Linux 及数据库中替换^B、^A、^C等特殊字符
星空下的华尔兹
11-12 1万+
[infa@TKEIP-ETL3 shell_script]$ cat add_ending.sh #! /bin/bash s1=$2 s2=$1 #s3=$3 if [ ! -n "$2" ];then echo "you are have not input path! this is mode './'" source=./$s2".txt" target=./$s2".unl" ...
002运算符\方法\流程控制
m0_55284524的博客
03-12 108
1.运算符 1.1概述 运算符用于连接表达式的操作数,并对操作数执行运算. Java中的运算符分为五种类型:算数运算符\赋值运算符\关系运算符\逻辑运算符和三目运算符 单目运算符只有一个操作数,双目运算符有两个两座书,三目运算符则有三个操作数 位运算涉及到二进制的运算,在java程序中运算不是很多. 1.2运算符号自查表1.2.1算数运算符之自增自减运算符 a是操作数,++是自增运算符,–是自减运算符,自增和自减运算符即可以放在变量之前也可以放在变量之后,例如:a++++a\a----a等等 自增:++:将
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值