shell awk 修改文件的分隔符

最新推荐文章于 2021-08-28 23:53:36 发布
最新推荐文章于 2021-08-28 23:53:36 发布
阅读量8.4k 收藏 5
点赞数
分类专栏： Shell 命令 文章标签： shell  awk  修改文件的分隔符
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yan88888888888888888/article/details/86569500
版权

 最近遇到个问题，hive 查出来的数据的分隔符是tab，想把它导入到其它的表里面，其它的表的数据的分隔符是linux的默认分隔符，找了如下方法做替换。

下面是每行被四个分隔符 \t 分割的文件的替换

awk -F '\t' '{print $1,$2,$3,$4,$5}' OFS='\001' 原始文件名 > 结果文件名

字段个数要根据实际情况调整下哦！ 

大广-全栈开发
关注
专栏目录
awk指定输入分隔符，输出分隔符
qq_21478261的博客
03-26 567
FS='@' ，指定输入分割符为@OFS=','，指定输出分割符为,
Shell脚本之awk用法
weibiaoshen8445的博客
08-08 1008
一、语法 awk是一种可以处理数据、产生格式化报表的语言，功能十分强大。awk认为文件中的每一行是一条记录，记录与记录的分隔符为换行符，每一列是一个字段，字段与字段的分隔符默认是一个或多个空格或tab制表符。 awk的工作方式是读取数据，将每一行数据视为一条记录（record），每条记录以字段分隔符分成若干字段，然后输出各个字段的值。 awk语法： awk [options] [BEGIN]{program} [END][file] 常用命令选项： -F fs：指定描绘一行中数据段的文件分隔符，默认为空格
Linux基础——awk替换
热心市民王先生
03-20 1万+
Linux基础知识，awk 分段功能介绍。
awk切换分隔符
Toby的博客
06-04 928
cat file.txt| awk -F'\001' -v OFS=',' '{for(i=1; i<NF; i++) {printf "%s%s", $i, OFS} printf "%s\n", $(NF)}'|more
shell-改变分隔符
diepiao6729的博客
10-07 891
转化为换行符： oldIFS=${IFS}; IFS=$'\n'; 命令; IFS=${oldIFS}; 转载于:https://www.cnblogs.com/DengGao/p/5935668.html
LINUX AWK文本列处理+分隔符替换
maopc1987的博客
03-19 5037
cat filename | awk -F ',' '{OFS=',';}{$1=null;$3=null;print $0}' > filename2 处理filename文件输出到filename2：cat filename > filename2 源文件以逗号分列（默认为空格）：awk -F ',' 输出文件以逗号分割：{OFS=',';} 排除第1、3列，剩下输出（...
awk修改输出分隔符
grllery的博客
06-14 2907
awk修改输出分隔符
shell 里 awk print 的用法详解
01-09
4. **分隔符处理**：默认情况下，awk使用空格或制表符作为字段分隔符，每个字段可以通过`$n`访问，其中`n`是字段序号，`$0`表示整行。 5. **内置变量**：awk提供了一些内置变量，如`NF`表示当前行的字段数量。 现在...
awk 单引号分隔符
最新发布
08-17
默认情况下，`awk` 使用空格作为字段分隔符，但如果数据是以其他字符分隔的，可以通过 `-F` 选项来指定一个自定义的分隔符。 当你需要使用单引号来指定分隔符时，应该注意单引号用于指示字符串，`awk` 并不会将单...
awk 输出的分隔符
09-02
- *1* *3* [shell脚本之awk命令——分隔符介绍](https://blog.csdn.net/xb_2015/article/details/119971107)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_...
awk中分隔符转换
aorong2257的博客
10-12 489
awk中分隔符转换的问题（转） 在awk中明明用OFS重新设置了分隔符，为什么在输出的时候还是原样输出呢！ 他是这么写的： echo 1,2,3,4 | awk 'BEGIN{FS=",";OFS="|"}{print}'”。 其实在awk中，只设置分隔符而不改变文件的内容，重新设置的分隔符是不会生效的，所以必须让awk认为你改变分隔符的同时也改变了文件的...
linux awk两个分隔符,linux:awk修改输出分隔符
weixin_35910783的博客
05-15 423
mongodb-&dollar;type、limit、skip、sort方法、索引、聚合一.$type操作符 $type操作符是基于BSON类型来检索集合中匹配的数据类型,并返回结果. MongoDB 中可以使用的类型如下表所示: 类型 数字 备注 Double 1 String 2 ...C&num;string类；math类；datetime类String类: .Lengt...
awk字段分隔符的一个处理技巧，可以用于转换分隔符或者行到列的转换
oneinmore的专栏
06-12 3700
之前感觉awk转换字段分隔符不是方便，比如需要将字符串1,2,3从逗号分隔转成冒号分隔1:2:3，一般来说可能需要弄个循环按字段遍历一下： echo 1,2,3 | awk -F, -v OFS=: ' { for(i=1; i<NF; i++) { printf "%s%s", $i, OFS } printf "%s\n", $(NF) }' 或者使用print语句来进行， ...
[awk] awk分隔列并添加/替换某列内容
petrel2015的博客
12-06 3542
需求 两个表结构类似，迁移过程中mysqldump后得到一些insert sql语句 SQL insert 语句文件中想增加字段内容 具体来说如： INSERT INTO `table_fruit` VALUES (apple,banana,orange,peach,pear) 希望变成 INSERT INTO `table_fruit` VALUES (apple,banana,pear,coconut,orange,peach,pear) 解析需求 可以看作是通过“，”逗号作为分隔符，在第3列后添加
awk2.0 — awk分隔符
NeilZhy
08-18 1268
再次重申awk的语法 awk [options] ‘Pattern {Actions}’ file1,file2… awk默认分隔符是空格，分隔符有分为“输入分隔符”和“输出分隔符”。 输入分隔符：awk在处理每一行文本的时候，以默认的空格将文本分隔成一个个单词作为变量。 输出分隔符：awk处理完文本之后，输出显示的时候，以空格分开。 输入分隔符 如果文本是空格隔...
shell脚本之awk命令——分隔符介绍
不经一翻彻骨寒，怎得梅花扑鼻香
08-28 4330
文章目录awk入门awk -Fawk命令之,分割符awk命令之;分割符 awk入门 关于awk命令的基础用法，请参考Linux awk命令。 awk -F awk -F #-F相当于内置变量FS, 指定分割字符，fs是一个字符串或者是一个正则表达式，如-F:。 awk命令之,分割符 awk命令之;分割符 ...
linux下sed awk gsub 替换分隔符效率比较
huazicomeon的博客
12-16 2520
同事有个替换分隔符的需求，','替换为'\x01'，文件记录数有2亿+。使用sed处理1000w条数据大约用了10分钟，算下来整个文件处理完要用200分钟，时间过长。记得去掉csv文件每行记录的最后一个字段时awk处理要比sed快很多，于是尝试使用awk来替换分隔符，经过测试效率能够提高5-6倍，在此记录一下。 一、对一个200w+的文件处理，每行有6个字段 1、使用sed处理（用时76s...
awk直接对源文件进行修改
热门推荐
杰瑞的专栏
11-07 1万+
awk一般不能通过诸如下面的方式来处理 [root@host ~]# awk '{print $0}' data &gt; data 上面的处理源文件data中就是空文件。方法之一就是: [root@host ~]# awk '{print $0 &gt; "data"}' data 备注:  文件名用""来引以来...
shell下awk指定分隔符操作及示例
wgl307293845的博客
12-31 2635
问题引入 如下字符串，需要获取数字 #define VERSION "25645655" awk分隔 # echo "#define VERSION \"25645655\"" | awk -F "\"" '{print $2}' 指令解析 \"表示字符转义 -F "\"" 表示使用"作为分隔符 $2计算方法 |-----------1---------------- |--2-|----3 #define VERSION "25645655" 总结 关键点...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值