sort、uniq对汉字不生效

最新推荐文章于 2023-01-02 20:44:08 发布
最新推荐文章于 2023-01-02 20:44:08 发布
阅读量1k 收藏
点赞数
文章标签： shell
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/arkzheng/article/details/78330451
版权

sort file_name

当file_name文件里包含汉字时，并且文件编码不是utf8的时候，就可能会失效，你会发现相同的字符串，却不在相邻行

另外uniq命令也是，

uniq file_name

当file_name文件里包含汉字时，并且文件编码不是utf8的时候，就可能会失效，你会发现重复的行没有被去重掉


sort -u file_name

sort -u 问题会表现的更加严重，把不是相同的行，都给干掉了


解决方法

iconv -f cp936 -t utf-8 file_name | sort |uniq | iconv -f utf-8 -t cp936 >file_name.uniq

上面iconv命令转换了一次编码，cp936可能需要修改，你的文件是gbk的时候是cp936



drkuan
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Shell中的sort和uniq命令
01-20
uniq ：通常对重复字符进行处理 sort -n sort -r sort -u 去重，u: unique（独一无二的） sort -o 指定输出文件 sort -t 指定分隔符 sort -k 指定列排序(配合-t使用) 所有参数都不改变原文件，只是在终端输出   ...
Linux命令uniq 与sort
JColor的博客
02-17 159
uniq 与sort是难兄难弟，有uniq常常需要sort命令，这是因为当重复的行并不相邻时，uniq 命令是不起作用的，即若文件内容为以下时，uniq 命令不起作用： $ cat testfile1 # 原有内容 test 30 Hello 95 Linux 85 test 30 Hello 95 Linux 85 test 30 Hello 95 Linux 85 这时我们就可以使用 sort： $ sort testfile1 | uniq Hel
Shell 中去重并统计重复数 uniq -c 不生效问题
热门推荐
小白成神路
08-17 1万+
诶半夜了不想睡,突然看到自己网站 UV 和 ip数 统计, typecho 插件统计不清楚是否是去重统计 我自己也有shell 脚本统计nginx日志 cat www.libenfu.com.access.log |cut -d ' ' -f 1 |uniq -c|sort -n -r|head -n 100 这个脚本统计的 查询nginx 日志中访问最多的前100个ip, BUT...
java Collections.sort 失效
wzq1915414095的博客
01-02 1310
java Collections.sort 失效
避坑系列：sort命令处理中文数据的问题
weixin_36600691的博客
06-14 1041
避坑系列：sort命令 sort作为linux下的常用命令，在处理含有中文字符的文件时，使用sort可能会无效。 例如，文件a.txt的内容如下： $ cat a.txt你好 你好 测试 真好玩 啊啊 你好 这是一个测试 让我们对文件ａ进行排序，看看会发生什么。 呀！排序后的结果好像并不对？ $sort a 你好 测试 啊啊 你好 真好玩 这是一个测试 别急，让我们再来搭配uniq试一下。 结果更离谱了，不仅没有实现去重，还出现了数据丢失的情况： $sort a | ...
js中sort()方法排序失效
yiliaJin的博客
11-26 7423
前言 sort() 方法的官方定义是用于对数组的元素进行排序，但是为什么在作用于纯数字数组的时候排序的结果总是达不到预期效果呢？ 关键点 sort() 方法中有一个参数，非必填，但是在忽略此参数的情况下，使用sort()排序会默认先调用数组中每一项元素的toString()方法，然后根据首字母的 ASCLL 码值的大小进行排序。 1、对 字符型 数组进行排序 var arr1=['a','b',...
Linux命令 sort、uniq、tr工具详解
09-14
主要介绍了Linux命令 sort、uniq、tr工具详解，本文通过实例代码给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下
Linux sort,uniq,cut,wc命令详解
01-09
　sort 命令对 File 参数指定的文件中的行排序，并将结果写到标准输出。如果 File 参数指定多个文件，那么 sort 命令将这些文件连接起来，并当作一个文件进行排序。 　sort语法 　[root@www~]# sort [-fbMnrtuk] ...
linux下uniq和sort命令用法详解.docx
09-26
linux下uniq和sort命令用法详解.docx
Js数组排序方法（sort）失效解决方法
Mr-yang的随笔
12-29 5663
在平时进行数组排序时，常用的数组排序方法sort有时候并没有起到排序的作用，例如： const arr = [1，5，2，16，7] console.log(arr.sort()) 打印结果为： 很明显，sort并没有起到排序的作用，原因就在于sort()中没有传参，那么默认就是按照数组每个元素的 ASCII 字符顺序进行升序排列，正确方案： const arr = [1，5，2，16，7] arr.sort(function (a, b) { // 对sort方法进行重写，本质是冒泡排序 retu
linux uniq对相同字符串无法去重的问题。
actnote的博客
07-15 614
主要就是uniq只对相邻的重复进行去重， 只要下一条是不同的序列就马上从头开始。 解决方案：在去重前先对每行字符串进行排序。 grep 'something' a.txt |sort |uniq 如果不这么做的话，比如下面内容的文件， a a b a a 去重出来结果会是 a b a ...
linux uniq去重不生效
火云邪神的博客
09-27 2309
实现对nginx的访问ip进行统计，出现出重不成功； shell： cat access.log | awk ‘{print $1}’ | uniq -c 原因： 因为uniq去重只对相邻的数据进行迭代处理，当遇到相邻的数据不重复时，就会该处的数据加一，进行新的迭代处理。 算法过程如下 key = 1 uniq(file, key): if line[key] == line[key+1]： 删...
linux下uniq中文需要设置字符集
sunlylorn的专栏
05-13 2716
linux下uniq中文需要设置字符集  LANG=zh_CN.UTF-8 或LANG=C
用equals()比较字符串一直不成功
csbn123456789的博客
06-29 3671
当用java中的equals()比较不成功，经思索，原来是要比较的变量中有空格，这样会导致比较不成功，因此可以用str.replaceAll(" “,”")方法去掉收尾和中间的空格。 ...
记录一个汉字排序的方法，利用sort（）
qq_44945983的博客
08-03 904
最近遇到一个问题，就是把汉字根据拼音的顺序进行排序，单纯的使用sort达不到效果，解决办法请看： 想要的效果图： ’ 然而给到的顺序是乱的： 配合js的localeCompare得以解决 this.outputList.sort((a, b) =>{ return a.label.localeCompare(b.label, 'zh') //a~z 排序 }) 这样就解决了。 ...
uniq命令不起作用
看清这个世界
02-20 1117
原来uniq只能处理当相邻的两行的是一样的时候， 如果分隔开之后就不能起作用了 cat male_selfie.txt | sort | uniq | wc -l
shell uniq不生效
最新发布
06-09
如果 `uniq` 命令在 shell 中不生效，可能是因为输入数据没有按照排序顺序提供给 `uniq` 命令。`uniq` 命令只会删除相邻的重复行，如果输入数据没有排序，则有可能会出现相同的行不相邻的情况，导致 `uniq` 命令无法正确删除重复行。 为了解决这个问题，可以在使用 `uniq` 命令之前先使用 `sort` 命令对输入数据进行排序，例如： ``` command | sort | uniq ``` 这样可以确保相同的行都被放在一起，从而保证 `uniq` 命令能够正确地删除重复行。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值